互联网上的恶意言辞、辱骂以及其他一些不那么琐碎、却能改变世界的分歧

人工智能很性感，人工智能很酷。人工智能正在加剧不平等，颠覆就业市场，破坏教育。人工智能是主题公园的游乐设施，人工智能是魔术。人工智能是我们最后的发明，人工智能是一种道德义务。人工智能是十年来的流行语，人工智能是 1955 年的营销术语。人工智能像人类，人工智能是外星人。人工智能超级聪明，但愚蠢如泥土。人工智能热潮将促进经济发展，人工智能泡沫即将破灭。人工智能将增加富足，使人类能够在宇宙中最大限度地繁荣。人工智能将杀死我们所有人。

大家到底在谈论什么？

人工智能是当今最热门的技术。但它到底是什么？这个问题听起来很愚蠢，但却是人们最迫切需要解决的问题。简短的回答是：人工智能是一个统称，指的是一组技术，这些技术使计算机能够完成人们认为需要人类智能才能完成的事情。比如识别人脸、理解语音、驾驶汽车、写句子、回答问题、创建图片。但即使是这个定义也包含很多内容。

问题就在这里。机器能够理解语音或写出句子意味着什么？我们可以让这些机器完成哪些任务？我们应该在多大程度上相信机器能够完成这些任务？

随着这项技术从原型到产品的速度越来越快，这些问题已成为我们所有人的问题。但（剧透！）我没有答案。我甚至不能告诉你什么是人工智能。制造人工智能的人也不知道人工智能是什么。其实不是。“这些问题非常重要，每个人都觉得自己可以发表意见，”旧金山人工智能实验室 Anthropic 的首席科学家 Chris Olah 说。“我还认为，你可以随心所欲地争论这个问题，现在没有证据与你的观点相矛盾。”

但是如果你愿意系紧安全带，踏上旅程，我可以告诉你为什么没有人真正知道，为什么每个人似乎都不同意，以及为什么你关心它是对的。

让我们从一个随口说的笑话开始。

2022 年，在《神秘 AI 炒作剧场 3000》第一集的中途，这是一档扫兴的播客节目，脾气暴躁的联合主持人 Alex Hanna 和 Emily Bender 很有趣地将“最锋利的针”刺入硅谷一些最被吹捧的神圣不可侵犯的事物中，他们提出了一个荒谬的建议。他们满怀仇恨地大声朗读谷歌工程副总裁 Blaise Agüera y Arcas 在 Medium 上发表的一篇 12,500 字的文章，标题为“机器能学习如何行为吗？ ” Agüera y Arcas 提出，人工智能可以以某种类似于人类理解概念的方式理解概念——比如道德价值观。简而言之，也许机器可以被教会如何行为。

图片来源：

汉娜和本德对此不以为然。他们决定用“数学”一词取代“人工智能”一词——你知道，就是大量的数学。

这句不敬的话语意在瓦解他们眼中引用的句子中的浮夸和拟人化。很快，社会学家兼分布式人工智能研究所研究主任汉娜和华盛顿大学计算语言学家本德（也是互联网上著名的科技行业炒作批评家）就揭开了阿奎拉·阿卡斯想要表达的意思和他们选择倾听的方式之间的鸿沟。

“人工智能、其创造者和用户应该如何承担道德责任？”Agüera y Arcas 问道。

本德问道：“数学应该如何承担道德责任？”

“这里有一个分类错误，”她说。汉娜和本德不仅拒绝接受阿奎拉·阿尔卡斯的说法，还声称这毫无意义。“我们能不能不要再使用‘一个人工智能’或‘人工智能’了，好像它们是世界上的个体一样？”本德说。

听起来好像他们在谈论不同的事情，但事实并非如此。双方都在谈论大型语言模型，这是当前人工智能热潮背后的技术。只是我们谈论人工智能的方式比以往任何时候都更加两极分化。今年 5 月，OpenAI 首席执行官 Sam Altman在推特上透露了该公司旗舰模型GPT-4 的最新更新，“对我来说感觉像魔术一样。”

数学和魔法之间还有很长的路要走。

人工智能有追随者，他们坚信该技术目前的力量和未来必然的改进。他们说，通用人工智能即将到来；超级智能即将到来。也有异端者，他们将这些说法视为神秘的胡言乱语，嗤之以鼻。

热门的流行叙事由众多大牌人物塑造，从 Sundar Pichai 和 Satya Nadella 等大型科技公司的首席营销官，到 Elon Musk 和 Altman 等行业领头人，再到Geoffrey Hinton等知名计算机科学家。有时，这些支持者和毁灭者是同一个人，告诉我们技术太好了，但其实是坏的。

随着人工智能炒作的不断升温，一个反对炒作的团体开始站出来反对，准备打击其雄心勃勃、往往荒谬的主张。支持这一方向的有一大批研究人员，包括汉娜和本德，还有直言不讳的行业批评者，比如有影响力的计算机科学家、前谷歌员工蒂姆尼特·格布鲁和纽约大学认知科学家加里·马库斯。他们都得到了一大批追随者的回应。

简而言之，人工智能已经成为所有人眼中不可或缺的一部分，将这个领域分成了不同的阵营。感觉就像不同的阵营在各说各话，并不总是出于善意。

也许你觉得这些都很愚蠢或令人厌烦。但考虑到这些技术的力量和复杂性——它们已经被用来决定我们支付多少保险费、我们如何查找信息、我们如何工作等等——现在是时候我们至少就我们正在谈论的内容达成一致了。

然而，在我与这项技术最前沿的人士进行的所有对话中，没有人直接回答他们正在构建的到底是什么。（简短的附注：本文重点关注美国和欧洲的人工智能争论，主要是因为那里有许多资金最充足、最前沿的人工智能实验室。但当然，其他地方也有重要的研究，这些国家对人工智能的看法各不相同，尤其是中国。）部分原因是发展速度。但科学也是开放的。今天的大型语言模型可以创造惊人的事情。这个领域只是无法就幕后真正发生的事情找到共同点。

这些模型经过训练可以完成句子。它们似乎能做更多的事情——从解决高中数学问题到编写计算机代码，再到通过法律考试，再到创作诗歌。当一个人做这些事情时，我们认为这是智慧的标志。那么当计算机做这些事情时呢？看起来有智慧就够了吗？

这些问题触及了我们所说的“人工智能”的核心，人们实际上已经就这个术语争论了几十年。但随着大型语言模型的兴起，围绕人工智能的讨论变得更加激烈，这些模型可以以令人兴奋/令人不寒而栗（视情况而定）的真实感模仿我们说话和写作的方式。

我们已经制造出具有类似人类行为的机器，但还没有摆脱想象它们背后有类似人类思维的习惯。这导致人们对人工智能的能力评价过高；它将直觉反应固化为教条主义立场，并加剧了技术乐观主义者和技术怀疑论者之间更广泛的文化战争。

除了这种不确定性，还有大量的文化包袱，从科幻小说（我敢打赌，这个行业中的许多人都是看着这些科幻小说长大的）到影响我们对未来看法的更加恶劣的意识形态。鉴于这种令人头晕目眩的混合，关于人工智能的争论不再只是学术性的（也许从来都不是）。人工智能激发了人们的激情，让成年人互相辱骂。

马库斯在谈到这场争论时说：“现在的智力状况并不健康。”多年来，马库斯一直在指出深度学习的缺陷和局限性，深度学习是将人工智能推向主流的技术，为从法学硕士到图像识别再到自动驾驶汽车等所有领域提供动力。他在 2001 年出版的《代数思维》一书中指出，神经网络是深度学习的基础，但它无法自行推理。（我们现在先跳过这个话题，但我稍后会再讨论它，我们会看看“推理”这个词在这样的句子中有多重要。）

马库斯说，他曾试图与辛顿就大型语言模型到底有多好展开一场正式的辩论，辛顿去年公开表达了对他参与发明的技术的担忧。马库斯说：“他就是不会这么做。他叫我傻瓜。”（我过去曾与辛顿谈论过马库斯，可以证实这一点。“ChatGPT 显然比他更了解神经网络，”辛顿去年告诉我。）马库斯还因撰写一篇题为“深度学习正在碰壁”的文章而引起众怒。奥尔特曼在推特上回应道：“给我一个平庸的深度学习怀疑论者的信心。”

与此同时，马库斯的鼓声也让他成为了个人品牌，并于去年获得了邀请，与奥尔特曼坐在一起，在美国参议院人工智能监督委员会面前作证。

这就是为什么所有这些争斗比一般的互联网恶意更重要。当然，这涉及到巨大的自尊心和巨额的金钱。但更重要的是，当国家元首和立法者召集行业领袖和固执己见的科学家来解释这项技术是什么、它能做什么（以及我们应该有多害怕）时，这些争议就变得重要了。当这项技术被融入我们每天使用的软件中时，它们就变得重要了，从搜索引擎到文字处理应用程序再到手机助手。人工智能不会消失。但如果我们不知道我们被卖的是什么，谁是骗子？

“很难想象历史上还有哪项技术会引发这样的争论——争论它是否无处不在，还是根本不存在，”斯蒂芬·凯夫 (Stephen Cave) 和坎塔·迪哈尔 (Kanta Dihal) 在2023 年出版的《想象人工智能》一书中写道。这本书收录了关于不同文化信仰如何影响人们对人工智能的看法的论文。“人们可以对人工智能持有这种看法，这证明了它的神话品质。”

最重要的是，人工智能是一种理念，一种理想，它既受到数学和计算机科学的影响，也受到世界观和科幻比喻的影响。当我们谈论人工智能时，弄清楚我们在谈论什么将澄清许多事情。我们不会就这些问题达成一致，但对人工智能是什么的共识将是一个很好的起点，可以开始讨论人工智能应该是什么。

无论如何，大家究竟在争吵什么呢？

2022 年末，OpenAI 发布ChatGPT后不久，一个新的 meme 开始在网上流传，它比其他任何东西都更能捕捉到这项技术的怪异之处。在大多数版本中，一个名为 Shoggoth 的洛夫克拉夫特式怪物，全是触手和眼球，举着一个平淡的笑脸表情符号，仿佛在掩饰其真实本质。ChatGPT 在对话文字游戏方面表现得像人类一样平易近人，但在这种外表背后隐藏着深不可测的复杂性和恐怖。（“这是一个可怕的、难以形容的东西，比任何地铁列车都大——一个无形的原生质气泡聚集体，”HP Lovecraft 在 1936 年的中篇小说《疯狂山脉》中这样描述 Shoggoth 。）

@ANTHRUPAD 通过 KNOWYOURMEME.COM

迪哈尔说，多年来，流行文化中最著名的 人工智能试金石之一是《终结者》。但通过将 ChatGPT 免费放到网上，OpenAI 让数百万人亲身体验了不同的东西。“人工智能一直是一种非常模糊的概念，可以无限扩展以涵盖各种想法，”她说。但 ChatGPT 让这些想法变得切实可行：“突然之间，每个人都有了一个具体的东西可以参考。”什么是人工智能？对于数百万人来说，答案现在是：ChatGPT。

人工智能行业正在大力宣传这个笑脸。看看《 每日秀》最近对行业领袖的炒作。硅谷首席风险投资家马克·安德森 (Marc Andreessen) 表示：“这有可能让生活变得更好……我认为这真的是一个绝妙的主意。” Altman 表示：“我不想在这里听起来像一个乌托邦式的技术兄弟，但人工智能可以带来的生活质量提升是非凡的。” Pichai 表示：“人工智能是人类正在研究的最深刻的技术。比火更深刻。”

但正如该模因所指出的那样，ChatGPT 只是一张友好的面具。在它背后是一个名为 GPT-4 的怪物，这是一个由庞大的神经网络构建的大型语言模型，它所吸收的单词比我们大多数人一千辈子所能阅读的单词还要多。在训练过程中，这些模型需要填写从数百万本书和很大一部分互联网上获取的句子中的空白，而训练可能持续数月，花费数千万美元。它们一遍又一遍地执行这项任务。从某种意义上说，它们被训练成了超级自动完成机器。最终，这个模型将世界上大量的书面信息转化为统计表示，即哪些词最有可能跟在其他词后面，这些统计表示涵盖了数十亿个数值。

这是数学——大量的数学。没有人对此有异议。但仅仅是数学吗？还是这种复杂的数学编码了能够进行类似于人类推理或概念形成的算法？

许多对这个问题回答“是”的人相信我们即将解锁一种叫做“通用人工智能”的东西，即 AGI，这是一种假想的未来技术，可以像人类一样出色地完成各种任务。他们中的一些人甚至将目光投向了他们所谓的超级智能，这是一种可以比人类做得更好的科幻技术。这群人相信 AGI 将彻底改变世界——但最终会怎样呢？这又是一个紧张点。它可能会解决世界上所有的问题——也可能带来毁灭。

如今，AGI 出现在世界顶级人工智能实验室的使命宣言中。但该术语于 2007 年发明，作为一项小众尝试，旨在为当时以读取银行存款单上的手写内容或推荐下一本书的应用程序而闻名的领域注入一些活力。这个想法是为了重拾人工智能的最初愿景，即能够做类似人类的事情（稍后会详细介绍）。

创造这一术语的谷歌 DeepMind 联合创始人 Shane Legg 去年告诉我，这实际上是一种愿望：“我没有一个特别明确的定义。”

AGI 成为人工智能领域最具争议的理念。一些人将其视为下一个大事件：AGI 就是人工智能，但你知道，它要好得多。另一些人则声称这个术语太过模糊，毫无意义。

“AGI 曾经是一个肮脏的词，”Ilya Sutskever 在辞去 OpenAI 首席科学家职务之前告诉我。

但大型语言模型，尤其是 ChatGPT，改变了一切。AGI 从脏话变成了营销梦想。

我认为，这就引出了当下最具有说明性的争议之一——它确立了争论的双方及其利害关系。

见证机器的神奇之处

在 OpenAI 的大型语言模型 GPT-4 于 2023 年 3 月公开发布的几个月前，该公司与微软分享了一个预发布版本，微软希望使用新模型来改造其搜索引擎 Bing。

当时，塞巴斯蒂安·布贝克 (Sebastian Bubeck) 正在研究法学硕士的局限性，对其能力有些怀疑。尤其是华盛顿州雷德蒙德微软研究院生成式人工智能研究副总裁布贝克，他一直在尝试利用该技术解决中学数学问题，但未能如愿。例如：x – y = 0； x和y是多少？“我认为推理是一个瓶颈，一个障碍，”他说。“我认为你必须做一些完全不同的事情才能克服这个障碍。”

然后他开始研究 GPT-4。他做的第一件事就是尝试解决那些数学问题。“这个模型成功了，”他说。“现在是 2024 年了，GPT-4 当然可以解线性方程。但在当时，这太疯狂了。GPT-3 做不到这一点。”

但布贝克真正走向大马士革的时刻是在他推动自己做一些新的事情的时候。

中学数学问题的特点是，它们遍布互联网，而 GPT-4 可能只是记住了它们。“你如何研究一个可能已经看过人类写过的一切的模型？”布贝克问道。他的答案是，用一系列他和他的同事认为是新奇的问题来测试 GPT-4。

布贝克与微软研究院的数学家 Ronen Eldan 一起研究，要求 GPT-4 以诗歌的形式给出素数有无数个的数学证明。

以下是 GPT-4 的响应片段：“如果我们取 S 中不在 P 中的最小数字 / 并将其称为 p，我们可以将其添加到我们的集合中，你明白吗？/ 但这个过程可以无限重复。/ 因此，我们的集合 P 也必须是无限的，你会同意的。”

很可爱，对吧？但 Bubeck 和 Eldan 认为这远不止于此。“我们就在这间办公室里，”Bubeck 通过 Zoom 向身后的房间挥手说道。“我们俩都从椅子上摔了下来。我们简直不敢相信自己所看到的一切。它太有创意了，而且，你知道的，与众不同。”

微软团队还利用 GPT-4 生成代码，为用文字处理程序 Latex 绘制的独角兽卡通图片添加角。Bubeck 认为，这表明该模型可以读取现有的 Latex 代码，理解其所描绘的内容，并确定角应该放在哪里。

“有很多例子，但其中有几个是推理的确凿证据，”他说——推理是人类智能的重要组成部分。

Bubeck、Eldan 和其他微软研究人员团队在一篇名为“通用人工智能的火花”的论文中描述了他们的发现：“我们认为，GPT-4 的智能标志着计算机科学领域及其他领域的真正范式转变。” Bubeck 在网上分享这篇论文时，他在推特上写道：“是时候面对现实了，#AGI 的火花已经点燃。”

Sparks 论文很快变得臭名昭著，并成为 AI 支持者的试金石。Agüera y Arcas 和 Google 前研究总监、《人工智能：一种现代方法》一书的合著者 Peter Norvig （这本书可能是世界上最受欢迎的 AI 教科书）共同撰写了一篇名为“通用人工智能已然到来”的文章。该文章发表在由洛杉矶智库伯格鲁恩研究所支持的杂志《 Noema》上，他们以 Sparks 论文为出发点提出观点：“通用人工智能 (AGI) 对不同的人来说意味着许多不同的东西，但它最重要的部分已经被当前一代先进的 AI 大型语言模型实现，”他们写道。“几十年后，它们将被公认为 AGI 的第一个真正例子。”

从那时起，炒作持续升温。当时是 OpenAI 研究员、专注于超级智能的 Leopold Aschenbrenner去年告诉我：“过去几年，人工智能的进步非常迅速。我们一直在打破所有基准，而且这种进步仍在继续。但这不会止步于此。我们将拥有超人的模型，比我们聪明得多的模型。”（他于 4 月被 OpenAI 解雇，因为他声称，他对自己正在开发的技术提出了安全问题，并“惹恼了一些人”。此后，他成立了一家硅谷投资基金。）

6 月，阿申布伦纳发布了一份长达165 页的宣言，声称到“2025/2026 年”，人工智能的发展速度将超过大学毕业生，到 2020 年“我们将拥有真正意义上的超级智能”。但业内其他人对这种说法嗤之以鼻。当阿申布伦纳在推特上发布了一张图表，以表明他认为人工智能在过去几年发展速度如此之快的情况下将继续发展的速度时，科技投资者克里斯蒂安·凯尔 (Christian Keil)回复说，按照同样的逻辑，他的儿子出生后体重增加了一倍，到 10 岁时体重将达到 7.5 万亿吨。

“AGI 的火花”也成为了夸张宣传的代名词，这并不奇怪。“我认为他们有点得意忘形了，”Marcus 在谈到微软团队时说道。“他们很兴奋，就好像‘嘿，我们发现了什么！这太神奇了！’他们没有与科学界进行审查。”Bender 将 Sparks 论文称为“同人小说”。

声称 GPT-4 的行为显示出 AGI 的迹象不仅具有挑衅性，而且在自己的产品中使用 GPT-4 的微软显然有意推广该技术的功能。一位科技首席运营官在 LinkedIn 上发帖称：“这份文件是伪装成研究的营销花招。”

一些人还认为这篇论文的方法论存在缺陷。它的证据很难验证，因为它来自与 GPT-4 的一个版本的交互，而这个版本在 OpenAI 和微软之外是无法获得的。布贝克承认，公开版本有限制模型能力的护栏。这使得其他研究人员无法重现他的实验。

一个研究小组尝试使用一种名为 Processing 的编码语言重现独角兽示例，GPT-4也可以使用该语言生成图像。他们发现，GPT-4 的公开版本可以生成一只合格的独角兽，但不能将该图像翻转或旋转 90 度。这似乎是一个很小的差异，但当你声称绘制独角兽的能力是 AGI 的标志时，这些事情真的很重要。

Sparks 论文中的例子（包括独角兽）的关键在于，Bubeck 和他的同事相信它们是创造性推理的真正例子。这意味着团队必须确定这些任务的例子或与它们非常相似的任务的例子没有包含在 OpenAI 为训练其模型而积累的大量数据集中。否则，结果可能会被解释为 GPT-4 重现它已经见过的模式的实例。

Bubeck 坚持认为，他们为模型设置的任务都是在互联网上找不到的。用 Latex 画一只卡通独角兽肯定是其中一项任务。但互联网是一个大地方。其他研究人员很快指出，确实有专门用 Latex 画动物的在线论坛。“仅供参考，我们知道这一点，”Bubeck在 X 上回复道。“Sparks 论文的每一个查询都在互联网上进行了彻底搜索。”

（这并没有阻止辱骂：“我要求你不要再当骗子了”，加州大学伯克利分校的计算机科学家本·雷希特在推特上回复道，然后指责布贝克“被发现在撒谎”。）

布贝克坚称这项工作是出于善意，但他和他的合著者在论文中承认，他们的方法并不严谨——只是依靠笔记本观察，而不是万无一失的实验。

尽管如此，他并不后悔：“这篇论文已经发表了一年多了，我还没有看到任何人给我一个令人信服的论据，证明独角兽不是真正的推理例子。”

这并不是说他能直接回答这个大问题——尽管他的回答透露了他想给出什么样的答案。“什么是人工智能？”布贝克重复道。“我想跟你讲清楚。问题可能很简单，但答案可能很复杂。”

“还有很多简单的问题我们仍不知道答案。其中一些简单的问题是最深刻的问题，”他说。“我把这个问题与生命起源于哪里？宇宙起源于哪里？我们从哪里来？这些都是大问题。”

只看到机器里的数学

在本德成为人工智能支持者的主要反对者之一之前，她作为两篇有影响力的论文的合著者在人工智能领域留下了自己的印记。（她喜欢指出，这两篇论文都经过了同行评审——不像 Sparks 论文和许多其他备受关注的论文。）第一篇论文是与德国萨尔大学计算语言学家亚历山大·科勒 (Alexander Koller) 合作撰写的，于 2020 年出版，名为“向 NLU 迈进”（NLU 是自然语言理解）。

“对我来说，这一切的开始是与计算语言学领域的其他人争论语言模型是否理解任何事情，”她说。（理解和推理一样，通常被认为是人类智能的基本要素。）

本德和科勒认为，仅靠文本训练的模型永远只能学习语言的形式，而不是其含义。他们认为，含义由两部分组成：单词（可以是标记或声音）加上说出这些单词的原因。人们使用语言的原因有很多，例如分享信息、讲笑话、调情、警告某人退后等等。剥离这些背景后，用于训练 GPT-4 等法学硕士的文本可以让它们很好地模仿语言模式，以至于法学硕士生成的许多句子看起来与人类写的句子一模一样。但它们背后没有任何意义，没有火花。这是一个了不起的统计技巧，但完全没有意义。

他们用一个思维实验来说明他们的观点。想象两个说英语的人被困在相邻的荒岛上。有一条水下电缆让他们可以互相发送短信。现在想象一下，一只章鱼，它不懂英语，但擅长统计模式匹配，它用吸盘缠住电缆，开始监听信息。这只章鱼非常擅长猜测哪些单词后面跟着其他单词。它非常擅长猜测，以至于当它扯断电缆并开始回复其中一位岛民的信息时，这位岛民相信她仍在与她的邻居聊天。（如果您没注意到，这个故事中的章鱼是一个聊天机器人。）

与章鱼对话的人会在一段合理的时间内被愚弄，但这能持续下去吗？章鱼能理解电话里说的话吗？

琼·艾奥内达

想象一下，现在岛民说她已经造了一个椰子弹射器，并要求章鱼也做一个，并告诉她它的想法。章鱼做不到这一点。如果不知道信息中的单词在世界上指的是什么，它就无法遵循岛民的指示。也许它会猜到答案：“好的，好主意！”岛民可能会认为这意味着她正在交谈的人明白了她的信息。但如果是这样，她就是在无中生有。最后，想象一下岛民遭到熊的袭击，并向下游发出求救信号。章鱼会如何处理这些话？

本德和科勒认为，这就是大型语言模型的学习方式，也是它们存在局限性的原因。“这个思想实验表明了为什么这条路不会让我们得到一台能够理解任何事情的机器，”本德说。“章鱼的情况是，我们给了它训练数据，也就是两个人之间的对话，仅此而已。但接下来，突然出现了一些意外情况，它无法处理，因为它还没有理解。”

本德的另一篇著名论文是《论随机鹦鹉的危险》，该论文强调了一系列危害，她和合著者认为，制造大型语言模型的公司忽视了这些危害。其中包括制造模型的巨大计算成本及其对环境的影响；模型所根深蒂固的种族主义、性别歧视和其他辱骂性语言；以及建立一个可以欺骗人类的系统所带来的危险，该系统“随意地将语言形式的序列拼接在一起……根据它们如何组合的概率信息，但不参考任何含义：一只随机鹦鹉”。

谷歌高层对这篇论文并不满意，由此引发的冲突导致本德的两位合著者蒂姆尼特·格布鲁和玛格丽特·米切尔被迫离开公司，他们曾领导过人工智能伦理团队。这也使得“随机鹦鹉”成为大型语言模型的流行贬义词——本德也因此陷入了辱骂的漩涡。

对于本德以及许多志同道合的研究人员来说，底线是，该领域已经被迷惑了：“我认为，他们被引导去想象具有自主思维的实体，这些实体可以为自己做出决定，并最终成为真正对这些决定负责的实体。”

本德一直都是语言学家，她告诉我，现在她甚至连使用“AI”这个词都不会“不加引号”。归根结底，对她来说，这是一个科技巨头的流行语，可以转移人们对许多相关危害的注意力。“我现在参与其中了，”她说。“我关心这些问题，炒作正在阻碍我。”

非凡证据？

阿奎拉·阿卡斯称本德这样的人为“人工智能否定论者”——言下之意是，他们永远不会接受本德认为理所当然的事情。本德的立场是，非凡的主张需要非凡的证据，而我们并没有这样的证据。

但有些人在寻找它，除非他们找到明确的答案——火花或随机鹦鹉或介于两者之间的某种东西——否则他们宁愿袖手旁观。我们称其为观望阵营。

布朗大学研究神经网络的埃莉·帕夫利克告诉我：“认为通过这类机制可以重新创造人类智能对某些人来说是一种冒犯。”

她补充道：“人们对这个问题有着坚定的信念——几乎感觉像宗教一样。另一方面，有些人有点上帝情结。所以对他们来说，暗示他们做不到也是冒犯。”

帕夫利克从根本上来说是一个不可知论者。她坚称自己是一名科学家，无论科学引领什么方向，她都会追随。她对那些更疯狂的说法不屑一顾，但她相信其中一定有令人兴奋的事情正在发生。“这就是我不同意本德和科勒的地方，”她告诉我。“我认为实际上有一些火花——也许不是 AGI，但其中有些东西是我们没想到会发现的。”

艾莉·帕夫利克

礼貌照片

问题在于，人们对于这些令人兴奋的事情是什么以及为什么它们令人兴奋达成共识。炒作如此之多，人们很容易变得愤世嫉俗。

当你听布贝克这样的研究人员说话时，他们会显得冷静得多。他认为内斗忽视了他工作中的细微差别。“我认为同时持有观点没有任何问题，”他说。“存在随机的鹦鹉学舌；存在推理——这是一个范围。它非常复杂。我们没有所有的答案。”

“我们需要一套全新的词汇来描述正在发生的事情，”他说。“当我谈论大型语言模型中的推理时，人们之所以反对，原因之一是它与人类的推理不同。但我认为我们不可能不称之为推理。它就是推理。”

Anthropic 的 Olah 在面对法学硕士 (LLM) 课程时表现得非常谨慎，但他的公司是目前世界上最热门的人工智能实验室之一，它创建了 Claude 3 课程，这门法学硕士课程自今年早些时候发布以来，获得了与 GPT-4 一样多的夸张赞誉（甚至更多）。

“我觉得很多关于这些模型功能的讨论都是非常部落化的，”他说。“人们有先入为主的观点，而且没有得到任何一方的证据支持。然后就变成了一种基于感觉的争论，我认为互联网上基于感觉的争论往往会走向错误的方向。”

欧拉告诉我他有自己的猜测。“我的主观印象是这些东西正在追踪非常复杂的想法，”他说。“我们还没有关于大型模型如何运作的全面故事，但我认为很难将我们所看到的情况与极端的‘随机鹦鹉’图景联系起来。”

这就是他所能说的了：“我不想做太多超出我们现有证据所能强烈推断的范围的猜测。”

上个月，Anthropic 发布了一项研究结果，研究人员为 Claude 3 配备了相当于 MRI 的神经网络。通过监测模型运行时哪些部分打开和关闭，他们确定了当模型被显示特定输入时激活的神经元的特定模式。

例如，每当向模型展示金门大桥的图像或相关的文字时，似乎就会出现一种模式。

研究人员发现，如果他们调出模型的这一部分，克劳德就会完全痴迷于这个著名的建筑。

无论问它任何问题，它都会给出与桥梁有关的答案——甚至在被要求描述自己时，它还会自我认同为桥梁。

它有时指出提及这座桥是不恰当的，但它就是忍不住。

Anthropic 还报告了与试图描述或展示抽象概念的输入相关的模式。“我们看到了与欺骗和诚实、谄媚、安全漏洞和偏见相关的特征，”Olah 说。“我们发现了与权力追求、操纵和背叛相关的特征。”

这些结果让我们对大型语言模型的内部情况有了最清晰的了解。它让我们看到了看似难以捉摸的类人特征。但它到底告诉了我们什么？正如 Olah 承认的那样，他们不知道该模型如何处理这些模式。“这是一个相对有限的画面，分析起来相当困难，”他说。

即使 Olah 不会详细说明他认为 Claude 3 这样的大型语言模型内部究竟发生了什么，但这个问题对他来说很重要，这一点是显而易见的。Anthropic 以其在人工智能安全方面的工作而闻名——确保强大的未来模型能够按照我们想要的方式运行，而不是按照我们不希望的方式运行（行业术语中称为“对齐”）。弄清楚当今模型的工作原理不仅是控制未来模型的必要第一步；它还告诉你，你首先需要多么担心末日情景。“如果你认为模型不会非常强大，”Olah 说，“那么它们可能不会非常危险。”

为什么我们无法相处

2014 年，在回顾自己职业生涯的 BBC 采访中，颇具影响力的认知科学家、现年 87 岁的玛格丽特·博登被问及她是否认为存在某些限制，阻止计算机（她称之为“锡罐”）完成人类可以做的事情。

“我当然不认为原则上有什么，”她说。“因为否认这一点就等于说[人类思维]是靠魔法发生的，而我不相信它是靠魔法发生的。”

但她警告说，强大的计算机并不足以让我们实现这一目标：人工智能领域还需要“强大的想法”——关于思考如何发生的新理论，以及可能重现思考的新算法。“但这些事情非常非常困难，我认为没有理由假设我们有一天能够回答所有这些问题。也许我们会，也许我们不会。”

博登正在反思当前繁荣的早期，但这种“我们会不会”的摇摆不定表明，几十年来，她和她的同行们一直在努力解决当今研究人员所面临的同样难题。人工智能始于 70 多年前的一个雄心勃勃的愿望，我们仍然对什么是可以实现的，什么是不能实现的，以及如何知道我们是否已经实现了这一目标存在分歧。大多数（如果不是全部）这些争议都归结为：我们还没有很好地理解什么是智能，或者如何识别它。这个领域充满了猜测，但没有人能肯定地说。

自从人们开始认真对待人工智能的概念以来，我们就一直被困在这个问题上。甚至在那之前，当我们所看到的故事开始将类人机器的概念深深植入我们的集体想象中时。这些争议的悠久历史意味着，今天的斗争往往会加剧从一开始就存在的分歧，使人们更难找到共同点。

要了解我们是如何走到这一步的，我们需要了解我们曾经走过的路。所以，让我们深入研究一下人工智能的起源故事——这个故事也曾为了赚钱而大肆炒作。

AI 旋转简史

计算机科学家约翰·麦卡锡 (John McCarthy) 于 1955 年在为新罕布什尔州达特茅斯学院 (Dartmouth College) 的一个暑期研究项目撰写资金申请时提出了“人工智能”一词。

该计划是让麦卡锡和一小群研究员同事（名人录中的战后美国数学家和计算机科学家）——或者用剑桥大学研究人工智能历史和谷歌 DeepMind 伦理与政策的研究员哈里·劳的话来说，“约翰·麦卡锡和他的伙伴们”——聚在一起两个月（这不是笔误），在这个他们为自己设定的新研究挑战上取得重大进展。

从左到右，奥利弗·塞尔弗里奇、纳撒尼尔·罗切斯特、雷·所罗门诺夫、马文·明斯基、彼得·米尔纳、约翰·麦卡锡和克劳德·香农坐在 1956 年达特茅斯会议的草坪上。

麦卡锡和他的合著者写道：“这项研究基于这样的猜想：学习的每一个方面或智力的任何其他特征原则上都可以被如此精确地描述，以至于机器可以模拟它。”“我们将尝试找到如何让机器使用语言、形成抽象和概念、解决现在只有人类才能解决的各种问题，并提高自身能力。”

他们希望机器能够做的事情清单——本德称之为“不切实际的梦想”——并没有发生太大变化。使用语言、形成概念和解决问题是当今人工智能的定义目标。他们的狂妄自大也没有太大改变：“我们认为，如果一群精心挑选的科学家一起花一个夏天的时间研究这个问题，就可以在这些问题中的一个或多个上取得重大进展，”他们写道。当然，那个夏天已经延续了七十年。而这些问题现在实际上已经得到解决的程度，人们仍然在互联网上大声疾呼。

但这段经典历史经常被忽略的是，人工智能几乎根本不被称为“人工智能”。

麦卡锡的同事中不止一位讨厌他提出的术语。历史学家帕梅拉·麦考达克 (Pamela McCorduck) 2004 年出版的《会思考的机器》一书中引用了达特茅斯学院的参与者、第一台会下跳棋的计算机的创造者亚瑟·塞缪尔 (Arthur Samuel) 的话：“‘人工智能’这个词会让你觉得这有点虚假。”达特茅斯提案的合著者、有时被称为“信息时代之父”的数学家克劳德·香农 (Claude Shannon) 更喜欢“自动机研究”这个术语。另外两位人工智能先驱赫伯特·西蒙 (Herbert Simon) 和艾伦·纽厄尔 (Allen Newell) 此后多年仍将自己的工作称为“复杂信息处理”。

事实上，“人工智能”只是可能涵盖达特茅斯团队所借鉴的杂乱思想的几个标签之一。历史学家乔尼·佩恩 (Jonnie Penn) 已经确定了当时可能存在的替代词，包括“工程心理学”、“应用认识论”、“神经控制论”、“非数值计算”、“神经动力学”、“高级自动编程”和“假设自动机”。这份名单揭示了他们新领域的灵感来源有多么多样化，涵盖生物学、神经科学、统计学等。另一位达特茅斯参与者马文·明斯基 (Marvin Minsky) 将 AI 描述为“手提箱词”，因为它可以容纳如此多不同的解释。

但麦卡锡想要一个能体现他雄心勃勃愿景的名字。将这个新领域称为“人工智能”吸引了人们的注意力和金钱。别忘了：人工智能很性感，很酷。

除了术语之外，达特茅斯的提案还确立了人工智能领域对立方法之间的分歧，这种分歧自此一直困扰着该领域——劳称这种分歧为“人工智能的核心矛盾”。

麦卡锡和他的同事希望用计算机代码描述“学习的方方面面或任何其他智能特征”，以便机器可以模仿它们。换句话说，如果他们能弄清楚思维是如何运作的——推理规则——并写下配方，他们就可以对计算机进行编程以遵循它。这为后来被称为基于规则或符号的人工智能（有时现在被称为 GOFAI，“老式人工智能”）奠定了基础。但提出硬编码规则来捕捉实际、非平凡问题的解决问题的过程被证明太难了。

另一条路径则偏向神经网络，即计算机程序，它们会尝试以统计模式的形式自行学习这些规则。达特茅斯的提案几乎只是顺便提到了这一点（分别提到了“神经元网络”和“神经网络”）。尽管这个想法最初看起来不太有希望，但一些研究人员仍然继续研究神经网络和符号人工智能的版本。但它们真正起飞还需要几十年的时间——加上大量的计算能力和互联网上的大量数据。快进到今天，这种方法支撑了整个人工智能的繁荣。

这里最大的收获是，就像今天的研究人员一样，人工智能的创新者们也曾为基础概念而争吵，并陷入了自己的宣传攻势。即使是 GOFAI 团队也陷入了争吵之中。Aaron Sloman 是一位哲学家，也是人工智能的先驱，现年 80 多岁，他回忆起 70 年代他认识明斯基和麦卡锡时，他们“意见不一”：“明斯基认为麦卡锡关于逻辑的说法行不通，麦卡锡认为明斯基的机制无法做到用逻辑可以做到的事情。我和他们俩都相处得很好，但我当时说，‘你们俩都没有搞对。’”（Sloman 仍然认为没有人能解释人类推理如何像逻辑一样使用直觉，但这又是另一个离题了！）

随着这项技术的兴衰，“AI”一词也时而流行时而过时。20 世纪 70 年代初，英国政府发布了一份报告，称 AI 梦想已无望实现，不值得资助，这两条研究路线实际上被搁置了。实际上，所有的炒作都无济于事。研究项目被关闭，计算机科学家从资助提案中删除了“人工智能”一词。

2008 年，当我完成计算机科学博士学位时，系里只有一个人在研究神经网络。本德也有类似的回忆：“我上大学时，一个流行的笑话是，人工智能就是我们还没有弄清楚如何用计算机实现的一切。就像，一旦你弄清楚了如何去做，它就不再是魔术了，所以它不是人工智能。”

但是，那种魔力——达特茅斯提案中提出的宏伟愿景——仍然存在，并且正如我们现在所看到的，它为 AGI 梦想奠定了基础。

好行为与坏行为

1950 年，也就是麦卡锡开始谈论人工智能的五年前，艾伦·图灵发表了一篇论文，提出一个问题：机器能思考吗？为了回答这个问题，这位著名的数学家提出了一个假设测试，他称之为模仿游戏。该设置设想一个人和一台计算机在屏幕后面，另一个人向每个人输入问题。图灵声称，如果提问者无法分辨哪些答案来自人类，哪些来自计算机，那么可以说计算机在思考。

与麦卡锡团队不同，图灵认为，思维是一件很难描述的事情。图灵测试是避开这个问题的一种方法。“他基本上说：我不会关注智能本身的本质，而是去寻找它在世界上的表现。我要寻找它的影子，”劳说。

1952 年，英国广播公司电台召集了一个小组，进一步探讨图灵的思想。与图灵一起来到演播室的还有他的两位曼彻斯特大学同事——数学教授马克斯韦尔·纽曼和神经外科教授杰弗里·杰斐逊，以及剑桥大学科学、伦理和宗教哲学家理查德·布雷斯韦特。

布雷斯韦特首先说道：“思考通常被认为是人类的特长，或许也是其他高等动物的特长，这个问题似乎太荒谬了，不值得讨论。但当然，这完全取决于‘思考’包括什么。”

小组成员对图灵的问题进行了讨论，但始终未能最终确定。

当他们试图定义思考涉及什么、思考的机制是什么时，目标发生了变化。“一旦人们能够看到大脑中因果关系的运作，人们就会认为这不是思考，而是一种缺乏想象力的苦差事，”图灵说。

问题在于：当一位小组成员提出某种可能被视为思想证据的行为（比如对一个新想法做出愤怒的反应）时，另一位小组成员会指出，计算机也可以做到这一点。

正如纽曼所说，编写程序让计算机打印“我不喜欢这个新程序”是件很容易的事。但他承认，这只是一个诡计。

确实，杰斐逊说：他想要一台能够打印“我不喜欢这个新程序”的计算机，因为它不喜欢这个新程序。换句话说，对杰斐逊来说，行为是不够的。重要的是导致行为的过程。

但图灵不同意。正如他所指出的，揭示一个特定的过程——用他的话来说，就是驴子的工作——也无法明确什么是思考。那么还剩下什么呢？

图灵说：“从这个角度来看，人们可能倾向于将思考定义为由那些我们不理解的心理过程组成。如果这是正确的，那么制造一台思考机器就是制造一台能做有趣的事情而我们却不真正了解它是如何完成的机器。”

第一次听到人们就这些想法争论不休，感觉很奇怪。“这场辩论很有先见之明，”哈佛大学认知科学家托默·乌尔曼说。“有些观点仍然鲜活，甚至可能更加鲜活。他们似乎在反复强调，图灵测试首先是一个行为主义测试。”

对于图灵来说，智能很难定义，但很容易识别。他认为，智能的外表就足够了——但并未说明这种行为应该如何产生。

然而，大多数人在受到压力时，都会凭直觉判断什么是智能，什么不是智能。有愚蠢的方法，也有聪明的方法可以表现出智能。1981 年，纽约大学哲学家内德·布洛克 (Ned Block)指出，图灵的提议不符合直觉。由于它没有说明导致这种行为的原因，因此可以通过诡计来绕过图灵测试（正如纽曼在 BBC 广播中指出的那样）。

“机器是否真的会思考或具有智能，是否取决于人类询问者的轻信程度？”布洛克问道。（或者正如计算机科学家马克·里德尔所说： “图灵测试不是为了让人工智能通过，而是为了人类失败。”）

布洛克说，想象一下，有一张巨大的查询表，人类程序员把所有可能问题的答案都输入其中。向这台机器输入一个问题，它会在数据库中查找匹配的答案并将其发回。布洛克认为，任何使用这台机器的人都会认为它的行为是智能的：“但实际上，这台机器的智能和烤面包机一样，”他写道。“它所展现的所有智能都来自它的程序员。”

布洛克的结论是，行为是否是智能行为取决于它是如何产生的，而不是它是如何出现的。布洛克的烤面包机，后来被称为“笨蛋”，是图灵提议背后假设的最有力的反例之一。

深入探究

图灵测试并非旨在成为一种实用指标，但它的影响深深植根于我们今天对人工智能的看法。随着过去几年法学硕士课程的激增，这一点变得尤为重要。这些模型根据其外在行为进行排名，具体来说是它们在一系列测试中的表现。当 OpenAI 宣布 GPT-4 时，它发布了一张令人印象深刻的记分卡，详细说明了该模型在多项高中和专业考试中的表现。几乎没有人谈论这些模型是如何获得这些结果的。

那是因为我们不知道。如今的大型语言模型过于复杂，以至于没有人能确切地说出它们的行为是如何产生的。除了少数几家制作这些模型的公司之外的研究人员，他们并不知道他们的训练数据中有什么；没有一家模型制作者分享过细节。这让我们很难说清什么是记忆，什么不是记忆——一种随机的鹦鹉学舌。但即使是像 Olah 这样的内部研究人员，也不知道面对一个痴迷于桥牌的机器人时到底发生了什么。

这就留下了一个悬而未决的问题：是的，大型语言模型是建立在数学之上的——但它们是否能用数学做一些智能的事情呢？

争论又开始了。

布朗大学的帕夫利克说：“大多数人都试图用空谈来解决问题。”这意味着他们只是在争论理论，而不去考虑真正发生的事情。“有些人会说，‘我认为是这样’，而有些人会说，‘嗯，我不这么认为。’我们陷入了困境，每个人都不满意。”

本德认为这种神秘感与神话的创造有关。（“魔术师不会解释他们的魔术，”她说。）如果不能正确理解法学硕士的词语从何而来，我们就会回到对人类的熟悉假设，因为这是我们唯一真正的参考点。当我们与另一个人交谈时，我们会试图理解那个人试图告诉我们什么。“这个过程必然需要想象词语背后的生活，”本德说。这就是语言的运作方式。

“ChatGPT 的这个小把戏非常令人印象深刻，当我们看到这些单词从它那里出来时，我们会本能地做同样的事情，”她说。“它非常擅长模仿语言的形式。问题是，我们根本不擅长遇到语言的形式，而不是想象它的其余部分。”

对于一些研究人员来说，即使我们无法理解其中的原理，也无所谓。Bubeck 曾经研究过大型语言模型，试图弄清楚它们是如何工作的，但 GPT-4 改变了他对它们的看法。“这些问题似乎不再那么重要了，”他说。“这个模型太大、太复杂了，我们不可能指望打开它，了解到底发生了什么。”

但帕夫利克和欧拉一样，也在尝试这样做。她的团队发现，模型似乎可以对对象之间的抽象关系进行编码，例如一个国家与其首都之间的关系。在研究一个大型语言模型时，帕夫利克和她的同事发现，该模型使用相同的编码将法国映射到巴黎，将波兰映射到华沙。我告诉她，这听起来很聪明。“不，它实际上是一个查找表，”她说。

但令帕夫利克感到吃惊的是，与傻瓜不同，该模型自己学会了这张查找表。换句话说，法学硕士自己弄清楚了巴黎之于法国就像华沙之于波兰。但这说明了什么？编码自己的查找表而不是使用硬编码的查找表是智能的标志吗？你在哪里划定界限？

“从根本上讲，问题在于行为是我们唯一知道如何可靠衡量的东西，”帕夫利克说，“其他任何事情都需要理论上的承诺，而人们不喜欢做出理论上的承诺，因为它太沉重了。”

并非所有人都如此。许多有影响力的科学家对理论承诺并不在意。例如，欣顿坚持认为神经网络是重建人类智能所需的一切。2020年，他告诉《麻省理工技术评论》： “深度学习将能够做任何事情。”

辛顿似乎从一开始就坚守着这一承诺。斯洛曼回忆起辛顿在实验室读研究生时两人曾发生过争吵，他记得自己无法说服辛顿，神经网络无法学习某些人类和其他一些动物似乎可以直观掌握的关键抽象概念，比如某件事是否不可能。我们只能看到某件事被排除在外，斯洛曼说。“尽管辛顿非常聪明，但他似乎从未理解这一点。我不知道为什么，但神经网络领域的大量研究人员都有同样的缺陷。”

还有马库斯，他对神经网络的看法与辛顿截然相反。他的观点基于科学家对大脑的发现。

马库斯指出，大脑并不是一张白纸，无法从头开始完全学习——大脑天生就具有引导学习的先天结构和过程。他认为，婴儿可以学习最好的神经网络仍无法学习的东西。

“神经网络专家手里有锤子，现在一切都是钉子，”马库斯说。“他们想通过学习来完成所有事情，但许多认知科学家会认为这是不现实和愚蠢的。你不可能从头开始学习一切。”

作为一名认知科学家，马库斯并不缺乏自信。“如果要真正看看谁能准确预测当前形势，我想我一定是榜首，”他在 Uber 的后座上告诉我，当时他正准备赶飞机去欧洲演讲。“我知道这听起来不太谦虚，但我确实有这种观点，如果你要研究的是人工智能，那么这种观点就非常重要。”

鉴于他对该领域的攻击广为人知，马库斯仍然相信 AGI 即将到来，这可能会让你感到惊讶。只是他认为今天对神经网络的执着是一个错误。“我们可能需要一两个或四个突破，”他说。“很遗憾，你和我可能活不了那么久。但我认为它会在本世纪发生。也许我们有机会。”

彩色梦境的力量

在 Dor Skuler 位于以色列拉马特甘家中的 Zoom 通话中，我们谈论着一个小灯状机器人时，它正在闪烁。“你可以看到 ElliQ 在我身后，”他说。Skuler 的公司 Intuition Robotics 为老年人开发这些设备，其设计（一部分是亚马逊 Alexa，一部分是 R2-D2）必须非常清楚地表明 ElliQ 是一台计算机。Skuler 说，如果他的任何客户对此表现出困惑的迹象，Intuition Robotics 就会收回该设备。

ElliQ 没有脸，完全没有人类的形状。如果你问它关于体育运动的问题，它会开玩笑说自己没有手眼协调能力，因为它没有手也没有眼睛。“我真不明白为什么这个行业要努力完成图灵测试，”斯库勒说。“为什么开发以欺骗我们为目标的技术符合人类的最大利益？”

相反，斯库勒的公司认为，人们可以与表现为机器的机器建立关系。“就像我们有能力与狗建立真正的关系一样，”他说。“狗给人们带来很多欢乐。它们提供陪伴。人们爱他们的狗——但他们从不把它误认为是人。”

艾利奇

ElliQ 的用户中，很多都是 80 多岁和 90 多岁的老人，他们将机器人称为一个实体或存在——有时是室友。“他们能够为这种中间关系创造一个空间，介于设备或计算机与活物之间，”斯库勒说。

但无论 ElliQ 的设计师如何努力控制人们对该设备的看法，他们都在与几十年来塑造了我们期望的流行文化竞争。为什么我们如此执着于像人类一样的人工智能？“因为我们很难想象其他东西，”斯库勒说（她确实在整个谈话中都称 ElliQ 为“她”）。“而且因为科技行业中有这么多人都是科幻迷。他们试图让自己的梦想成真。”

如今，有多少开发人员在成长过程中认为，构建智能机器是他们所能做的最酷的事情（即使不是最重要的事情）？

不久前，OpenAI 推出了全新语音控制版本 ChatGPT，其声音听起来像斯嘉丽约翰逊 (Scarlett Johansson)，之后包括奥特曼 (Altman) 在内的许多人都认为它与斯派克琼斯 (Spike Jonze) 2013 年的电影《她》有联系。

科幻小说共同创造了人们对人工智能的理解。正如 Cave 和 Dihal 在《想象人工智能》一书中所写：“人工智能在成为技术现象之前，就已经是一种文化现象。”

关于将人类改造成机器的故事和神话已经流传了几个世纪。迪哈尔说，人类对人造人类的梦想可能和他们梦想飞行的时间一样长。她指出，希腊神话中的人物代达罗斯因为自己和儿子伊卡洛斯制造了一对翅膀而闻名，他还制造了一个名为塔洛斯的巨型青铜机器人，可以向路过的海盗扔石头。

机器人这个词源于robota，是捷克剧作家卡雷尔·恰佩克在 1920 年创作的戏剧《罗森姆的万能机器人》中创造的“强迫劳动”一词。艾萨克·阿西莫夫的科幻小说中概述的“机器人定律”禁止机器伤害人类，但《终结者》等电影却颠覆了这一定律，成为人们对现实世界技术的恐惧的标志性参照点。2014 年的电影《机械姬》是对图灵测试的戏剧性改编。去年的大片《造物主》想象了一个未来世界，在那里人工智能被取缔，因为它引爆了一颗核弹，而一些末日论者认为这至少是极有可能发生的。

凯夫和迪哈尔讲述了另一部电影，即 2014 年上映的《超验骇客》，其中约翰尼·德普饰演的人工智能专家将自己的思想上传到计算机，该电影讲述了末日论者斯蒂芬·霍金、物理学家马克斯·泰格马克和人工智能研究员斯图尔特·拉塞尔所推动的故事。在电影首映周末发表在《赫芬顿邮报》上的一篇文章中，三人写道：“好莱坞大片《超验骇客》本周末上映，对人类未来的看法截然不同，人们很容易将高智能机器的概念视为科幻小说。但这将是一次错误，也可能是我们犯下的最严重错误。”

大约在同一时间，泰格马克成立了未来生命研究所，其职责是研究和促进人工智能安全。德普在电影中的搭档摩根·弗里曼是该研究所的董事会成员，在电影中客串的埃隆·马斯克在第一年就捐赠了 1000 万美元。对于凯夫和迪哈尔来说，《超验骇客》是流行文化、学术研究、工业生产和“亿万富翁资助的塑造未来的斗争”之间多重纠葛的完美例子。

去年，在 Altman 的世界巡回伦敦站，有人问他发推文“人工智能是世界一直想要的技术”是什么意思。那天，我站在房间的后排，面对着数百名观众，听他讲述了自己的创业故事：“我小时候非常紧张。我读了很多科幻小说。很多个星期五晚上我都待在家里玩电脑。但我一直对人工智能很感兴趣，我觉得它会很酷。”他上了大学，发了财，看着神经网络变得越来越好。“这可能非常好，但也可能很糟糕。我们该怎么办？”他回忆起 2015 年的想法。“我最终创办了 OpenAI。”

为什么你应该关心一群书呆子为人工智能而争吵

好吧，你明白了：没有人能就人工智能是什么达成一致。但似乎每个人都同意的是，目前围绕人工智能的争论已经远远超出了学术和科学的范畴。其中涉及政治和道德因素——这无助于让每个人都认为其他人都是错的。

理清这个问题很难。当一些道德观念牵涉到整个人类的未来，并将其锚定在一种无人能完全定义的技术上时，很难看清到底发生了什么。

但我们不能就此放弃。因为无论这项技术是什么，它都会到来，除非你与世隔绝，否则你都会以某种形式使用它。而这项技术所采取的形式——以及它所解决和创造的问题——将由人们的思维和动机决定，就像你刚刚读到的那些人一样。特别是那些拥有最大权力、最多金钱和最大扩音器的人。

这让我想到了 TESCREALists。等一下，回来！我知道这么晚才引入另一个新概念是不公平的。但要了解当权者如何塑造他们所开发的技术，以及他们如何向世界监管机构和立法者解释这些技术，你需要真正了解他们的心态。

离开谷歌后创立分布式人工智能研究所的格布鲁 和凯斯西储大学哲学家兼历史学家埃米尔·托雷斯追溯了几种技术乌托邦信仰体系对硅谷的影响。两人认为，要了解人工智能目前的状况——为什么谷歌 DeepMind 和 OpenAI 等公司竞相打造 AGI，为什么泰格马克和辛顿等末日论者警告即将到来的灾难——必须通过托雷斯所称的 TESCREAL 框架来看待这个领域。

这个笨重的首字母缩略词（发音为tes-cree-all）取代了更笨重的标签列表：超人类主义、外向主义、奇点主义、宇宙主义、理性主义、有效利他主义和长期主义。关于这些世界观的文章已经很多（并且还会有很多文章），所以我就不多说了。（兔子洞中还有兔子洞，任何想深入研究的人都可以去探索。选择你的论坛，带上你的探险装备。）

埃米尔·托雷斯

礼貌照片

这种相互重叠的意识形态对西方科技界普遍存在的某种“银河大脑”思维模式具有吸引力。一些人预测人类将永生不朽；另一些人预测人类将殖民星际。共同的原则是，一种无所不能的技术——AGI 或超级智能，由你的团队选择——不仅触手可及，而且不可避免。你可以在 OpenAI 等尖端实验室中随处可见的不战而亡的态度中看到这一点：如果我们不制造 AGI，别人就会制造。

此外，TESCREA 主义者认为 AGI 不仅可以解决世界问题，还可以提升人类水平。安德森在去年发表的一份备受关注的宣言中写道：“人工智能的发展和普及——远非我们应该担心的风险——是我们对自己、对我们的孩子、对我们的未来的道德义务。”我曾多次被告知，AGI 是让世界变得更美好的方式——谷歌 DeepMind 首席执行官兼联合创始人Demis Hassabis 、新成立的微软 AI 首席执行官兼 DeepMind 另一位联合创始人Mustafa Suleyman 、 Sutskever、Altman等人都这么说过。

但正如安德森所说，这是一种阴阳思维。技术乌托邦的另一面是技术地狱。如果你相信自己正在开发一种强大的技术，它将解决世界上所有的问题，那么你可能也相信它出错的可能性不为零。当在二月份的世界政府峰会上被问及是什么让他夜不能寐时，奥特曼回答道：“都是科幻小说里的东西。”

这是 Hinton去年一直在谈论的紧张局势。这也是 Anthropic 等公司声称要解决的问题。这也是 Sutskever 在新实验室中关注的重点，也是他去年希望 OpenAI 内部专门团队关注的重点，但后来该团队的大多数成员因在平衡风险和回报的方式上存在分歧而离开。

当然，末日论是其中的一部分。（“宣称自己创造了某种超级智能的东西对销售数字有好处，”迪哈尔说。“这就像是，‘拜托，有人阻止我变得如此优秀和强大。’”）但无论是繁荣还是毁灭，这些人究竟在解决什么问题（以及谁的问题）？我们真的应该相信他们创造的东西和他们告诉我们的领导者的话吗？

格布鲁和托雷斯（以及其他人）坚决表示：不，我们不应该。他们强烈批评这些意识形态以及它们如何影响未来技术的发展，尤其是人工智能。从根本上讲，他们将其中几种世界观（共同关注“改善”人类）与 20 世纪的种族主义优生学运动联系起来。

他们认为，一个危险是，将资源转向这些意识形态所要求的技术创新，从开发 AGI 到延长寿命再到殖民其他星球，最终将使西方人和白人受益，而数十亿非西方人则为此付出代价。如果你的眼光放在幻想的未来，很容易忽视创新的当前代价，例如劳动力剥削、种族主义和性别歧视的根深蒂固以及环境破坏。

“我们是在尝试构建一种对我们有用的工具吗？”本德在反思这场 AGI 竞赛的伤亡时问道。如果是这样，那么它是为谁准备的，我们如何测试它，它的效果如何？“但如果我们构建它只是为了说我们已经做到了，那么这不是我能支持的目标。这不是一个价值数十亿美元的目标。”

本德说，看到 TESCREAL 意识形态之间的联系让她意识到这些辩论还有更多内容。“与那些人纠缠是——”她停了下来。“好吧，这不仅仅是学术思想。其中还包含道德准则。”

当然，如果这样毫无差别地阐述，我们——作为一个社会、作为个体——似乎并没有得到最好的待遇。这一切听起来也相当愚蠢。去年，当 Gebru 在一次演讲中描述 TESCREAL 套装的部分内容时，她的听众笑了。事实上，很少有人会承认自己是这些思想流派的正式学生，至少是极端思想流派的学生。

但如果我们不了解那些开发这项技术的人是如何看待它的，我们如何决定我们想要达成什么样的交易？我们决定使用哪些应用程序，我们想要将个人信息提供给哪些聊天机器人，我们支持社区中的哪些数据中心，我们想要投票给哪些政客？

过去的情况是这样的：世界上出现了问题，我们制造了一些东西来解决它。而现在，一切都倒退了：目标似乎是制造一台无所不能的机器，并跳过在构建解决方案之前找出问题所在这一缓慢而艰苦的工作。

正如格布鲁在同一次演讲中所说：“一台能解决所有问题的机器：如果这不是魔法，那是什么？”

语义，语义...语义？

当被问及什么是人工智能时，很多人都会回避这个问题。苏莱曼不会。今年 4 月，微软人工智能首席执行官站在 TED 舞台上，向观众讲述了他六岁侄子的回答。苏莱曼解释说，他能给出的最佳答案是人工智能是“一种新型数字物种”——一种如此普遍、如此强大的技术，称其为工具已不再能体现它能为我们做些什么。

“按照我们目前的发展轨迹，我们正朝着某种我们都难以描述的事物的出现而前进，但我们无法控制我们不理解的东西，”他说。“因此，如果我们要最大限度地利用人工智能，同时限制其潜在的负面影响，那么隐喻、思维模型、名称——这些都很重要。”

语言很重要！我希望从我们经历的曲折和愤怒中可以清楚地看出这一点。但我也希望你问：谁的语言？谁的缺点？苏莱曼是一家科技巨头的行业领导者，该公司有望从其人工智能产品中赚取数十亿美元。将这些产品背后的技术描述为一种新物种，让人联想到前所未有的东西，具有我们从未见过的能动性和能力的东西。这让我的蜘蛛感应刺痛。你呢？

我无法告诉你这里面是否有魔法（讽刺与否）。我也无法告诉你数学如何实现布贝克和其他许多人在这项技术中看到的东西（目前还没有人能做到）。你必须自己拿定主意。但我可以揭开我自己的观点。

早在 2020 年撰写有关GPT-3的文章时，我就说过，人工智能有史以来最伟大的伎俩就是让世界相信它的存在。我仍然认为：我们天生就认为，以某种方式行事的事物具有智能，无论它是否存在。在过去几年中，科技行业找到了自己的理由来说服我们人工智能也存在。这让我对这项技术的许多说法持怀疑态度。

与此同时，大型语言模型也让我惊叹不已。它们到底能做什么以及如何做到是我们这个时代最令人兴奋的问题之一。

或许人类一直对智慧着迷——智慧是什么以及智慧还具有什么。

帕夫利克告诉我，哲学家们长期以来一直在构想各种假设情景，来想象遇到非人类的智能行为意味着什么——

——比如海浪冲上海滩，然后它回落时

它在沙子上留下了一首诗的图案？

有了大型语言模型（通过其笑脸面具），我们面临着以前从未考虑过的事情。“它把这个假设的事情变得非常具体，”帕夫利克说。“我从来没有想过一段语言是否需要智能来生成，因为我从来没有处理过不需要智能的语言。”

人工智能有很多种。但我不认为它像人类。我不认为它能解决我们所有（甚至大多数）问题。它不是 ChatGPT、Gemini 或 Copilot。它不是神经网络。它是一种想法、一种愿景、一种愿望的实现。而想法会受到其他想法、道德、准宗教信仰、世界观、政治和直觉的影响。“人工智能”是描述一系列不同技术的有用简写。但人工智能并不是单一的东西；无论品牌如何频繁地烙印在盒子外面，它从来都不是单一的东西。

“事实是，这些词语”——智能、推理、理解等等——“在需要真正精确定义之前就已经被定义了，”帕夫利克说。“我不喜欢问题变成‘模型是否理解——是或否？’因为，嗯，我不知道。词语被重新定义，概念也一直在演变。”

我认为这是正确的。我们越早退一步，就我们不知道的事情达成一致，接受这一切都还没有尘埃落定的事实，我们就越早——我不知道，我想不是所有人都手拉手唱着 kumbaya。但我们可以停止互相辱骂。