2024 年 10 月 8 日北京时间 17 时 45 分许,约翰·J.霍普菲尔德 (John J. Hopfield) 和杰弗里·E.欣顿(Geoffrey E. Hinton)因奠定借助统计物理学思想训练人工神经网络的基础,获得 2024 年诺贝尔物理学奖。辛顿在接受电话采访时表示,我没有想到(I have no idea that will happen)。
2024 年的诺贝尔奖单项奖金为 1100 万瑞典克朗,与 2023 年持平,合人民币 744.117 万元。
约翰·J.霍普菲尔德是美国物理学家、神经科学家,普林斯顿大学教授。霍普菲尔德 1933 年出生于美国伊利诺伊州,1958 年获得康奈尔大学博士学位。他在 1982 年发明了著名的霍普菲尔德神经网络(Hopfield neural network),这是第一个能够储存多种模式,并具备记忆功能的神经网络模型,是神经网络发展早期的一座重要的里程碑。霍普菲尔德神经网络的诞生为递归神经网络的发展铺平了道路,其提出的能量最小化原理,对于解决优化问题产生了深远影响。
杰弗里·E.欣顿是英裔加拿大计算机科学家、神经科学家,加拿大多伦多大学教授,前'谷歌大脑'负责人。欣顿 1947 年出生于英国伦敦,1978 年获得爱丁堡大学人工智能博士学位。欣顿是神经网络早期(且一直没有放弃)的重要研究者之一。20 世纪 80 年代,他为将反向传播算法(backpropagation)引入多层神经网络训练做出了重要贡献,并发明了'玻尔兹曼机'——一种在霍普菲尔德神经网络的基础上发展而来的随机递归神经网络。在 2012 年,欣顿及两位学生 Alex Krizhevsky、Ilya Sutskever 发明的 AlexNet 在计算机视觉竞赛 ImageNet 中以压倒性优势取得冠军,创造了深度神经网络发展的里程碑,并激发了大量采用卷积神经网络(CNN)和图形处理器(GPU)加速深度学习的研究。欣顿与 Yoshua Bengio 和 Yann LeCun 并称为'深度学习三巨头'、'AI 教父',共同获得 2018 年图灵奖。2023 年 5 月,在 ChatGPT 横空出世半年后,欣顿宣布从谷歌辞职,以便能够'自由地谈论人工智能的风险'。他对人工智能的恶意滥用、其引发的技术性失业以及人类的生存风险表达了深切的担忧。
许多人已经体验过计算机翻译语言、解释图像,甚至进行合理对话的能力。然而,不太为人所知的是,这种技术对科学研究更加重要,包括对大量数据的分类和分析。一种名叫人工神经网络(artificial neural network)的结构,推动机器学习在过去十五到二十年间迅猛发展。如今人们谈论的人工智能,一般指的就是这种技术。
尽管计算机不能思考,但机器可以模仿记忆和学习等功能。今年的诺贝尔物理学奖得主为此做出了贡献。他们利用物理学的基本概念和方法,开发出了利用网络结构处理信息的技术。
机器学习系统与传统软件不同。传统软件的工作方式类似食谱:软件接收数据,按照明确的描述进行处理,并生成结果,就像一个人采购食材,并按照食谱加工成蛋糕一样。相反,在机器学习中,计算机通过一个个例子进行学习,使其能够处理那些模糊且复杂到无法通过人类的逐步指令来处理的问题。一个典型的例子就是解读图片,并识别其中的物体。
模仿大脑
人工神经网络利用其全部网络结构来处理信息。起初,研究神经网络的科学家只是想要理解大脑的工作机制。20 世纪 40 年代,研究人员已经开始探索大脑神经元和突触网络背后的数学原理。此外,心理学领域也为这一领域提供了重要线索,神经科学家 Donald Hebb 的假设指出,学习之所以发生,是因为当神经元共同工作时,它们之间的连接得到了加强。
随后,科学家循着这样的想法,通过计算机模拟构建了人工神经网络,从而重现大脑网络的功能。在这些模拟中,节点构成了大脑的神经元,每个节点被赋予不同的值,而突触则由节点之间的连接表示,这些连接可以被加强或削弱。Donald Hebb 的假设至今仍是通过训练来更新人工网络的基本规则之一。
20 世纪 60 年代末,一些令人沮丧的理论结果导致许多研究人员怀疑这些神经网络永远不会真正有用。然而,到了 20 世纪 80 年代,一些重要思想(包括今年两位获奖者的工作)产生的影响,重新点燃了人们对人工神经网络的兴趣。
联想记忆
想象一下,你试图回忆一个相当不寻常且很少使用的词,比如用于描述电影院或者无障碍通道中那种倾斜地面的词汇。你在脑海中搜寻:它有点像斜面(ramp)……或许是滑坡(radial)?不,不是。对了,是斜坡(Rake)!
这种通过搜索相似词来找到正确词汇的过程,让人联想到物理学家约翰·霍普菲尔德(John hopfield)于 1982 年发现的联想记忆模型。霍普菲尔德神经网络能够存储模式,并且可以重现这些模式。当网络接收到一个不完整或稍有失真的模式时,该方法能够找到与之最相近的已存储模式。
霍普菲尔德运用其在物理学领域的背景,探究了分子生物学中的理论问题。有一次,他受邀参加一场关于神经科学的会议,接触到了有关大脑结构的研究。会议内容令他着迷,并让他开始思考简单神经网络的动力学特性。当神经元共同作用时,它们能产生新的、强大的特性,如果你只关注网络中的每一个独立神经元,是很难察觉这些特性的。
1980 年,霍普菲尔德离开了彼时就职的普林斯顿大学,他的研究兴趣已超越了物理学同僚们的研究领域。他接受了加州理工学院(Caltech)在南加州帕萨迪纳的化学与生物学教授职位。在那里,他得以利用学校的计算机资源进行免费实验,并发展他对神经网络的构想。
然而,他并未放弃自己的物理学基础,还从中汲取了灵感,理解了由众多协同工作的小组件构成的系统如何产生新的有趣现象。他尤其受益于具有特殊特性的磁性材料,这些特性源于其原子自旋——一种使每个原子成为微小磁体的性质。相邻原子的自旋会相互影响,这使得自旋方向一致的区域得以形成。他利用描述自旋相互影响时材料特性如何变化的物理学原理,构建了一个包含节点和连接的模式网络。
网络用'地形'保存图像
霍普菲尔德构建的神经网络中,节点与节点之间连接的强度是不同的。每个节点可以存储一个单独的值——在霍普菲尔德的早期工作中,这个值可以是 0 或 1,就像黑白照片中的像素一样。


