威尔·道格拉斯·海文《麻省理工技术评论》2024-07
在 2023 年 3 月 OpenAI 的大型语言模型 GPT-4 公开发布的几个月前,该公司与微软分享了一个预发布版本,微软希望使用新模型来改进其搜索引擎 Bing。
当时,塞巴斯蒂安·布贝克 (Sebastian Bubeck) 正在研究 LLM 的局限性,对其能力有些怀疑。具体来说,华盛顿州雷德蒙德微软研究院生成式人工智能研究副总裁布贝克一直在尝试利用这项技术解决中学数学问题,但未能如愿。比如:x – y = 0; x和y是多少?“我认为推理是一个瓶颈,一个障碍,”他说。“我认为你必须做一些完全不同的事情才能克服这个障碍。”
然后,他开始着手研究 GPT-4。他做的第一件事就是尝试解决那些数学问题。“模型成功了,”他说。“现在是 2024 年,GPT-4 当然可以解线性方程。但在当时,这太疯狂了。GPT-3 做不到这一点。”
但 Bubeck 真正的成功时刻是在他推动它做一些新事情的时候。
中学数学问题的特点是,它们遍布互联网,而 GPT-4 可能只是记住了它们。“你如何研究一个可能已经看过人类写过的一切的模型?”Bubeck 问道。他的答案是在一系列他和他的同事认为是新奇的问题上测试 GPT-4。Bubeck
与微软研究院的数学家 Ronen Eldan 一起玩,让 GPT-4 以诗歌的形式给出存在无限个素数的数学证明。
以下是 GPT-4 响应的片段:“如果我们从 S 中取出不在 P 中的最小数字 / 并将其称为 p,我们可以将其添加到我们的集合中,你明白吗?/ 但这个过程可以无限重复。/ 因此,我们的集合 P 也必须是无限的,你会同意的。”
很可爱,对吧?但 Bubeck 和 Eldan 认为远不止于此。“我们在这间办公室里,”Bubeck 通过 Zoom 向身后的房间挥手说道。“我们俩都从椅子上摔了下来。我们简直不敢相信我们所看到的。它太有创意了,而且,你知道的,太与众不同了。”
微软团队还让 GPT-4 生成代码,为用文字处理程序 Latex 绘制的独角兽卡通图片添加角。Bubeck 认为这表明该模型可以读取现有的 Latex 代码,理解它所描绘的内容,并确定角应该放在哪里。
“例子有很多,但其中只有少数是推理的确凿证据,”他说——推理是人类智能的重要组成部分。
Bubeck、Eldan 和其他微软研究人员在一篇名为“通用人工智能的火花” 的论文中描述了他们的发现:“我们认为,GPT-4 的智能标志着计算机科学领域及其他领域的真正范式转变。” 当 Bubeck 在网上分享这篇论文时,他在推特上写道:“是时候面对它了,#AGI 的火花已经点燃。” Sparks 论文很快就声名狼藉——并成为 AI 助推器的试金石。 Agüera y Arcas 和谷歌前研究总监、《人工智能:一种现代方法》的合著者 Peter Norvig(该书可能是世界上最受欢迎的 AI 教科书)共同撰写了一篇名为“通用人工智能已经到来”的文章。发表在Noema
,这是一本由洛杉矶智库 Berggruen 研究所支持的杂志,他们以 Sparks 的论文为出发点:“通用人工智能 (AGI) 对不同的人来说意味着许多不同的东西,但其中最重要的部分已经被当前一代先进的人工智能大型语言模型实现,”他们写道。“几十年后,它们将被公认为 AGI 的第一个真正例子。”
从那时起,炒作就一直不断膨胀。当时是 OpenAI 研究员、专注于超级智能的 Leopold Aschenbrenner去年告诉我:“过去几年,人工智能的进步非常迅速。我们一直在打破所有基准,而且这种进步仍在继续。但这不会止步于此。我们将拥有超人的模型,比我们聪明得多的模型。” (他于 4 月被 OpenAI 解雇,因为他声称他对自己正在开发的技术提出了安全问题并“惹恼了一些人”。此后,他成立了一家硅谷投资基金。)
6 月,阿申布伦纳发布了一份165 页的宣言,称人工智能将在“2025/2026 年”超过大学毕业生,并且到 2020 年“我们将拥有真正意义上的超级智能”。但业内其他人对这种说法嗤之以鼻。当阿申布伦纳在推特上发布了一张图表来显示他认为人工智能在过去几年中改进的速度还会以多快的速度继续改进时,科技投资者克里斯蒂安凯尔回复说,按照同样的逻辑,他的儿子出生时体型已经翻了一番,到 10 岁时体重将达到 7.5 万亿吨。
毫不奇怪,“AGI 的火花”也成为了夸大其词的代名词。 “我认为他们太过激动了,”Marcus 在谈到微软团队时说。“他们很兴奋,就好像‘嘿,我们发现了一些东西!这太神奇了!’他们没有与科学界一起审查它。” Bender 将 Sparks 的论文称为“同人小说”。
(未完待续)
- 什么是人工智能?(11) - 04/30/25
- 什么是人工智能?(10) - 04/28/25
- 什么是人工智能?(9) - 04/27/25