霍普菲尔德现年91岁,是美国普林斯顿大学(Princeton University)霍华德-普莱尔分子生物学名誉教授。他在1954年从斯沃斯莫尔学院获得学士学位,1958年在康奈尔大学获得物理学博士学位。之后,他在贝尔实验室的理论组工作了两年。他的教学生涯涉足加利福尼亚大学伯克利分校、普林斯顿大学的物理学系,以及加州理工学院的化学和生物学系。在过去的35年中,他一直与贝尔实验室保持密切的合作关系。
霍普菲尔德在1982年创造出联想神经网络,现在通称为霍普菲尔德网络(Hopfield network),可以存储并重现图像和其他数据模式的关联记忆技术。
辛顿现年76岁,现为加拿大多伦多大学(University of Toronto)教授,是知名的计算机学家和认知心理学家。
辛顿是反向传播算法和对比散度算法的共同发明者,和深度学习的积极倡导者,被誉为“深度学习教父”或“AI教父”。他因在深度学习方面的成就与约书亚·本希奥(Yoshua Bengio)和杨立昆(Yann André Le Cun)一起荣获了2018年的图灵奖。辛顿发明了一种能自动识别数据中特征的方法,比如在图片中识别特定元素。
诺贝尔奖公布现场
有着“AI教母”之称的李飞飞第一时间送上了祝福,并表示:“AI的影响力实在太大了。”
辛顿的得意门生之一、OpenAI前首席科学家伊利亚·苏茨克维(Ilya Sutskever)也在第一时间对恩师表达了祝贺。
诺贝尔物理学奖为何会颁给机器学习先驱?
1.人工智能与物理学密切相关
人工智能,其实是指使用人工神经网络的机器学习。
人工神经网络最初受到大脑结构的启发。在人工神经网络中,大脑中的神经元被模拟成不同数值的节点。这些节点通过类似神经突触的连接相互作用,连接可以被加强或削弱。训练网络的方法就是增强那些数值高的节点之间的连接。从20世纪80年代开始,霍普菲尔德和辛顿就对人工神经网络的研究进行了深入。
这次诺贝尔物理奖之所以会办发给霍普菲尔德和辛顿,是因为霍普菲尔德发明的网络使用一种独特方法来存储和恢复图案。在神经网络中,每个节点可以被想象成像素点似的基本单元。
这种联想记忆(associative memory)来自一种物理学原理来描述材料,即原子自旋特性。
原子自旋是原子表现出的微小磁性,每个原子都可以被视为一个小小的磁铁。网络的整体操作类似于物理中的自旋系统,它通过优化节点间的连接值进行训练确保存储的图像具有较低的能量。当网络接收到一个扭曲或不完整的图像时,它会系统地调整节点的值以降低能量,逐步找到并恢复一个与输入的不完美图像最匹配的存储图像。
而辛顿在霍普菲尔德网络的基础上发展出了新的网络技术——玻尔兹曼机(Boltzmann Machine)。
辛顿使用了统计物理学的工具,让其能够学习并识别数据中的特征元素。它一种随机性神经网络,其基本思想源自统计物理中的波尔兹曼分布。玻尔兹曼机通过训练实际运行中可能出现的示例来学习,可以用于对图像进行分类或生成基于所训练模式类型的新示例,即生成模型的早期例子。
波尔兹曼机由两部分组成:可见单元和隐藏单元,它们通过权重连接。这种网络能够通过模拟退火的过程来学习和推理,让系统逐渐找到能量最低的状态,从而解决优化问题或特征识别任务。
辛顿的这些研究工作推动了机器学习的快速发展。在实际应用中,特别是在深度学习发展早期,波尔兹曼机被用来预训练深层神经网络,帮助网络在进行更复杂学习任务之前,找到合适的权重初始状态。
可以说,现在波澜壮阔的人工智能浪潮,来自统计物理引发的机器学习革命。
“人工智能初看似乎与诺贝尔物理学奖的传统主题不太相符,但具有学习能力的神经网络及其在物理学领域的应用却密切相关。”诺贝尔物理学奖委员会主席艾伦·穆恩斯(Ellen Moons)表示,“获奖者的工作已经带来巨大效益,在物理学领域,我们利用人工神经网络在很多方面都取得了进展,比如开发具有特定属性的新材料。
同时他也补充道:“人类有责任以安全和合乎道德的方式使用这项新技术,为人类带来最大利益。”
“我们从未真正感受过,比人类更智能的存在会为我们带来怎样的影响。”辛顿谈到,尽管他是ChatGPT等AI工具的积极使用者,但他对自己推动这项技术的潜在后果感到担忧。
他还说:“如果能回到过去,我还是会做出相同的决定,但我仍然担心可能出现的负面后果,例如那些比我们更聪明的系统最终掌握主导权。”
霍普菲尔德同样对AI充满担忧。他对人工智能的未知潜力和局限性“感到不安”。他说:“人们已经习惯了拥有不仅有优点或缺点的技术,而是具有双向能力的技术。”
2.机器学习所有的路径、引擎和核心都源于物理学
“人工智能是从物理学发展而来的。”瑞典乌普萨拉大学教授、诺贝尔物理学奖委员会委员奥尔·埃里克森(Olle Eriksson)解释道。
“任何机器学习协议、引擎和核心都是基于方程式和概念,这些都纯粹是物理学的范畴。”他表示,用其他方式来描述它是不恰当的,它既不属于化学,也不属于计算机科学——所有的路径、引擎和核心都源于物理学。
现在,人工智能已经可以翻译语言、解析图像,甚至进行有意义的对话。
但它在数据分类、分析科研中的重要性,似乎还不为大众所熟知。过去15到20年,背靠人工神经网络,机器学习技术经历了爆炸性的增长。
诚然,计算机还不能自主思考,但现代机器已能模仿人类的记忆和学习过程。今年的物理学奖得主正是利用物理学原理,开发了基于网络的信息处理技术。
机器学习与传统软件有所不同,传统软件的工作原理可以比作食谱:软件接收数据,按照明确的指令处理数据并输出结果,就像按食谱步骤做蛋糕一样。不同于传统软件按固定程序处理数据,机器学习让计算机通过实例学习解决模糊或复杂的问题,一个很著名的例子就是图像识别。
人工神经网络借鉴了大脑的工作方式来处理信息。
早在20世纪40年代,研究人员就开始探究大脑神经元和突触网络的数学原理。心理学的进展也起到了作用,特别是神经科学家唐纳德·赫布的学习理论,即神经元间的连接在共同活动时会变得更加强大。
人工神经网络受大脑神经元的启发,图片来源: Johan Jarnestad/瑞典皇家科学院
人工神经网络的设计灵感来源于人脑,早自20世纪40年代,科学家便开始研究大脑神经元和突触的数学模型。其中,心理学家唐纳德·赫布(Donald Olding Hebb)的理论指出,神经元间的连接在合作时会加强,这一原理至今仍是训练网络的基石。
在基于大脑的数学和神经学研究之上,科学家们开始尝试在硅基芯片上通过计算机模拟的方式构建人工神经网络,以实现类似大脑的功能。在这些网络中,节点被赋予不同的初始值来模拟大脑中的神经元,节点之间的连接模拟突触,这些连接的强度会随着程序的执行变化。直到今天,赫布的理论仍是训练神经网络的基本规则之一。
20世纪60年代,尽管神经网络的理论研究未能达到预期效果,导致一些研究人员开始怀疑其实用性,但到了80年代,随着新理论的提出和关注,包括诺贝尔物理学奖得主霍普菲尔德提出的新观点,神经网络的研究再次兴起。
当我们尝试回忆一个很少使用的生僻单词,大脑会在记忆中搜索,这个过程类似于霍普菲尔德在1982年发现的联想记忆。霍普菲尔德网络能够存储并重新找到模式。当输入一个不完整或略有失真的模式时,网络能在已存储的模式中找到最相似的一个。