大脑可能会像某些计算模型一样了解世界

两项研究发现，“自我监督”模型可以从未标记的数据中了解其环境，可以显示出与哺乳动物大脑类似的活动模式。

安妮·特拉夫顿 | 麻省理工学院新闻

2023 年 10 月 30 日

麻省理工学院的两项新研究提供了支持这一观点的证据，即大脑使用类似于机器学习方法（称为“自我监督学习”）的过程。

为了穿越这个世界，我们的大脑必须对我们周围的物理世界产生直观的理解，然后我们用它来解释进入大脑的感官信息。

大脑如何发展这种直觉理解？许多科学家认为，它可能使用类似于所谓的“自我监督学习”的过程。这种类型的机器学习最初是为了创建更有效的计算机视觉模型而开发的，它允许计算模型仅根据视觉场景之间的相似性和差异来了解视觉场景，而无需标签或其他信息。

麻省理工学院 K. Lisa Yang 综合计算神经科学 (ICoN) 中心的研究人员进行的两项研究提供了支持这一假设的新证据。研究人员发现，当他们使用特定类型的自我监督学习来训练神经网络模型时，所得模型生成的活动模式与执行与模型相同任务的动物大脑中看到的活动模式非常相似。

研究人员表示，研究结果表明，这些模型能够学习物理世界的表征，从而准确预测物理世界将发生的事情，并且哺乳动物的大脑可能正在使用相同的策略。

ICoN 中心的博士后 Aran Nayebi 表示：“我们工作的主题是，旨在帮助制造更好的机器人的人工智能最终也成为一个更好地理解大脑的框架。” “我们还不能说它是否是整个大脑，但跨越尺度和不同的大脑区域，我们的结果似乎暗示了一种组织原则。”

Nayebi 是其中一项研究的主要作者，与前麻省理工学院博士后 Rishi Rajalingham（现供职于 Meta Reality Labs）以及高级作者 Mehrdad Jazayeri 共同撰写，Mehrdad Jazayeri 是脑与认知科学副教授、麦戈文研究所成员。脑研究；罗伯特·杨（Robert Yang）是脑与认知科学助理教授，也是麦戈文研究所的准会员。ICoN 中心主任、脑与认知科学教授、麦戈文研究所准会员 Ila Fiete 是另一项研究的资深作者，该研究由麻省理工学院研究生 Mikail Khona 和Rylan Schaeffer，麻省理工学院前高级研究员。

这两项研究将于 12 月在 2023 年神经信息处理系统 (NeurIPS) 会议上发表。

模拟物理世界

早期的计算机视觉模型主要依赖于监督学习。使用这种方法，模型被训练来对每个都标有名称（猫、汽车等）的图像进行分类。生成的模型运行良好，但这种类型的训练需要大量的人类标记数据。

为了创建更有效的替代方案，近年来，研究人员转向通过对比自我监督学习技术构建的模型。这种类型的学习允许算法学习根据对象之间的相似程度对对象进行分类，而无需提供外部标签。

“这是一种非常强大的方法，因为你现在可以利用非常大的现代数据集，尤其是视频，并真正释放它们的潜力，”纳耶比说。“你现在看到的许多现代人工智能，尤其是过去几年的 ChatGPT 和 GPT-4，都是在大规模数据集上训练自我监督目标函数以获得非常灵活的表示的结果。”

这些类型的模型也称为神经网络，由数千或数百万个相互连接的处理单元组成。每个节点与网络中的其他节点都有不同强度的连接。当网络分析大量数据时，这些连接的强度会随着网络学习执行所需的任务而发生变化。

当模型执行特定任务时，可以测量网络内不同单元的活动模式。每个单元的活动都可以表示为一种放电模式，类似于大脑中神经元的放电模式。纳耶比和其他人之前的研究表明，自我监督的视觉模型会产生与哺乳动物大脑视觉处理系统类似的活动。

在这两项新的 NeurIPS 研究中，研究人员着手探索其他认知功能的自我监督计算模型是否也可能显示出与哺乳动物大脑的相似之处。在纳耶比领导的这项研究中，研究人员训练了自我监督模型，通过数十万个描述日常场景的自然视频来预测环境的未来状态。

“在过去十年左右的时间里，在认知神经科学中构建神经网络模型的主要方法是在个人认知任务上训练这些网络。但以这种方式训练的模型很少能推广到其他任务，”杨说。“在这里，我们测试是否可以通过首先使用自我监督学习对自然数据进行训练，然后在实验室环境中进行评估来为认知的某些方面构建模型。”

模型经过训练后，研究人员将其推广到一项他们称之为“Mental-Pong”的任务。这类似于视频游戏 Pong，玩家移动桨来击打穿过屏幕的球。在 Mental-Pong 版本中，球在击中球拍之前不久就会消失，因此玩家必须估计其轨迹才能击球。

研究人员发现，该模型能够以类似于哺乳动物大脑中神经元的精确度跟踪隐藏球的轨迹，拉贾林厄姆和贾扎耶里之前的一项模拟其轨迹的研究表明了这一点——一种被称为“心理”的认知现象。模拟。” 此外，模型中看到的神经激活模式与动物玩游戏时大脑中看到的神经激活模式相似，特别是大脑中称为背内侧额叶皮层的部分。研究人员表示，没有任何其他类型的计算模型能够与生物数据如此紧密地匹配。

“机器学习社区为创造人工智能做出了许多努力，”贾扎耶里说。“这些模型与神经生物学的相关性取决于它们额外捕获大脑内部运作的能力。阿兰的模型预测神经数据这一事实非常重要，因为它表明我们可能越来越接近构建模仿自然智能的人工系统。”

环游世界

由科纳、谢弗和菲特领导的这项研究重点关注一种称为网格细胞的特殊神经元。这些位于内嗅皮层的细胞与位于海马体的位置细胞一起帮助动物导航。

当动物位于特定位置时，位置细胞就会激发，而网格细胞仅当动物位于三角形晶格的顶点之一时才会激发。网格单元组创建不同大小的重叠网格，这使得它们能够使用相对较少数量的单元对大量位置进行编码。

在最近的研究中，研究人员训练了监督神经网络来模拟网格细胞功能，根据动物的起点和速度预测其下一个位置，这一任务称为路径整合。然而，这些模型取决于始终获取有关绝对空间的特权信息——动物没有的信息。

受到空间多周期网格单元代码的惊人编码特性的启发，麻省理工学院团队训练了一个对比自监督模型，以执行相同的路径积分任务并在此过程中有效地表示空间。对于训练数据，他们使用了速度输入序列。该模型学会了根据位置是否相似或不同来区分位置——附近的位置生成相似的代码，但更远的位置生成更多不同的代码。

“这类似于图像训练模型，如果两张图像都是猫头，它们的代码应该相似，但如果一张是猫头，一张是卡车，那么你希望它们的代码相互排斥，”Khona说。“我们采用同样的想法，但将其应用于空间轨迹。”

模型训练完成后，研究人员发现模型内节点的激活模式形成了几种不同周期的网格图案，与大脑中网格细胞形成的网格图案非常相似。

“这项工作让我兴奋的是，它将网格单元代码引人注目的信息论特性的数学工作与路径积分的计算联系起来，”菲特说。“虽然数学工作是分析性的，但网格单元代码具有哪些属性？——通过自监督学习和获得网格状调整来优化编码效率的方法是综合的：它显示了哪些属性可能是必要且足以解释为什么大脑有网格细胞的。”

该研究由 K. Lisa Yang ICoN 中心、美国国立卫生研究院、西蒙斯基金会、麦克奈特基金会、麦戈文研究所和海伦·海·惠特尼基金会资助。

(Reprinted with permission of MIT News http://news.mit.edu/)