图灵奖得主辛顿谈无监督学习问题根源:忽略数据间关联捕捉

2022年10月27日 0 Comments

7月27日上午,近来鲜少露面的图灵奖获得者、多伦多大学计算机科学系名誉教授杰弗里·辛顿(Geoffrey Hinton)在第43届国际信息检索大会(SIGIR 2020)上作为首位主题演讲者,进行了题为“神经网络的新时代(The Next Generation of Neural Networks)”的主题报告。

他在报告中回顾了无监督神经网络的发展历史,结合表达学习模型的进化历程,指出当前无监督学习方法所面临问题的根源在于:过度关注数据的重构损失(Reconstructive Loss),忽略了对数据间关联关系的捕捉。

基于此,他提出了下一代神经网络模型的构想,提出利用对比损失函数(Contrastive Loss)建模样本间的局部关系、增强数据间表达的一致性的解决思路。

杰弗里·辛顿被称为“神经网络之父”,出生于1947年12月6日,是加拿大认知心理学家和计算机科学家。辛顿1970年毕业于剑桥国王学院,随后在英国爱丁堡大学获得人工智能博士学位。2019年3月,因对人工智能的繁荣发展奠基,杰弗里·辛顿、约书亚·本吉奥(Yoshua Bengio)和杨立昆(Yann LeCun)三人被授予2018年的图灵奖。

值得一提的是,杰弗里·辛顿近来很少在公开演讲中出现。2020年6月18日,他在个人推特上表示,因为发现之前对感知学习想法的“致命错误”,推掉了一段时间内接受的所有报告。

杰弗里·辛顿在7月27日的报告中回顾了三种不同类似的学习模式,即监督学习(学习在给定输入向量时预测输出)、强化学习(学习找出一个能够使收益最大化的选择)和无监督学习(在不提供监督信息的条件下进行学习)。

辛顿在报告中解释为什么需要无监督学习。他指出,人类大脑有10^14个神经元连接,而生命的长度只有10^9秒,因此人类是无法完全依赖有监督学习的方法完成所有神经元训练,而需要更多来自于无监督学习的帮助,受此启发,构建智能的机器模型也应综合考虑监督与无监督方法进行协同训练。

报告最后,他还展示了上述构想的一种具体实现方案SimCLR,应用该方案能够显著提升下游图像分类任务的效果。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注