王洒洒
2021-09-20
82
课堂导引：深度学习能够通过在网络结构中添加更多层和更多神经元来学习非常复杂的功能，在过去十年中，它在各种领域里都取得了令人瞩目的成就。尽管深度学习在实践中取得了巨大成功，但在基础理论层面上的解释依然缺乏。先前的工作表明，深度神经网络有足够的能力来记忆带有随机标签的训练数据。但是为什么深度神经网络在参数数量明显大于训练数据量的情况下，依然能够很好地泛化到新数据，这个问题目前仍然没有明确的解释。为了理解深度学习中的泛化能力，学界已经提出了许多复杂性度量来评估神经网络的容量，例如 VC 维、范数和尖锐度。然而，这些度量通常与网络规模有关，当用于非常大的网络时将会失效。了解深度学习为何有能力掀起第三波人工智能浪潮对更好地了解人工智能的最新进展至关重要。在本次演讲中，陶院士将分享他们最近的相关研究、提议和见解，来阐释为何深度学习会如此成功。
作为12所中国首批未来技术学院之一，华南理工大学未来技术学院在21级新生正式开学不到一周就请来了澳大利亚尤里卡(Eureka)奖获得者、京东探索研究院院长、清华大学智能产业研究院（AIR）卓越访问教授—陶大程院士来为同学们开展导论课堂，面对面答疑。
一踏进会场，映入眼帘的便是未来技术学院的同学们脸上难掩的期待与激动，因为大家都知道，这不仅仅是一场关于人工智能的学术导论课堂 ，更是一场指导我们如何走好大学之路的人生启迪。
随着同学们逐步到齐，片刻安静后，徐向民院长登台隆重介绍陶院士，精彩的导论课堂正式开始！
导论课堂一开始，陶院士便引入整体论与还原论的辩证哲学思想，迅速吸引了同学们的兴趣，只言片语足见陶院士的博学与思想深度。紧随其后，陶院士向我们分析说明了一个学科从基础到发展完善需要很长时间的沉淀，而人工智能却只有短短70年的历史，是一门基础理论与发展体系尚不完善的新兴学科，更是一门需要我们未来技术学院全体将精力与热情完全投入的学科！
陶院士的讲学魅力来自他深邃的思想和深厚的知识，同样也来自他幽默风趣的举例和语言。印象最深刻的是他设置的情景：一些男同学和女同学坐在同一间教室里，以长头发和短头发作为区分他们的标准，这一般是不能作为判断人性别的标准的，但如果恰巧在一间教室里适用，在另一间教室里就又不适用了。随后陶院士指出这就要求我们基于“经验”标准，做到“经验风险最小化”。选择普适性最好的模型进行拟合，尽可能准确地估计“泛化误差”，分析经验风险和真实风险。
陶院士还介绍了函数类（Function Class）和损失函数（Loss Function）的相关内容，以及我们高中学习回归直线时曾了解到的最小二乘法，同学们思考数学兴致勃勃。之后陶院士又通过牛顿创立牛顿三定律却存在缺陷矛盾之处来说明真实误差的不可避免。最让人理解深刻的是陶院士举出高考的例子：平时模拟成绩与高考成绩一般是不会相同的，即使足够多次模考都得满分，也只能说明高考成绩得满分的概率较大，但不能百分之百保证。
最精彩的环节还得是陶院士与学生们的问答环节。同学们提出的问题的价值受到陶院士的肯定，概率论、有监督学习、无监督学习、强化学习……无不体现了华工学子课前预习、自主学习、发现并提出问题的能力，陶院士一一解答同学们的疑惑，赞！
享受完整场导论课堂，大家都意识到不仅人工智能与深度学习需要增强泛化能力，全体未来技术学院学子都应该努力提升自己的“泛化”能力，拓宽知识面、开拓眼界和胸怀、发散思维、大胆去做，做一个个及时响应新时代号召的复合型领军人才！而不断调整Function Class减少误差，亦让我想起魏晋时期伟大数学家刘徽的“割之弥细,所失弥少,割之又割,以至于不可割,则与圆周合体而无所失矣”，而人又何尝不是这样呢？人无完人，我们只有“三省吾身、见贤思齐”，不断调整进步，才能成为最好的自己！
最后用一句爱因斯坦的名言来与大家共勉：The value of an education in a liberal arts college is not the learning of many facts，but the training of the mind to think something that cannot be learned from textbooks.
陶院士简介：陶大程，京东探索研究院院长、京东集团高级副总裁，同时兼任华南理工大学客座教授、中国科学技术大学大师讲席教授。加入京东前，在悉尼大学担任澳大利亚桂冠教授、Peter Nicol Russell讲习教授、悉尼大学人工智能中心主任。陶院士主要从事可信人工智能领域的研究，在权威杂志和重要会议上发表了200余篇论文；论文被引用6万余次，h-index：132，并多次荣获顶级国际会议最佳论文奖、时间检验奖。2015年获得澳大利亚尤里卡奖以及悉尼科技大学校长奖章、2018年获得IEEE ICDM研究贡献奖、2020年再度荣获澳大利亚尤里卡奖以及悉尼大学校长研究贡献奖、2021年荣获IEEE计算机协会Edward J McCluskey技术成就奖。他先后当选IEEE/AAAS/ACM Fellow、欧洲科学院（Academia European）外籍院士、新南威尔士皇家学院院士、以及澳大利亚科学院院士。
文字：黄骏轩
摄影：周文
审核：舒琳 卢志芳