Ben Goertzel预测：未来5年AGI的实现与展望

主持人：Ben Goertzel 博士是著名的人工智能研究员、认知科学家和企业家，以其在通用人工智能 (AGI) 领域的开创性工作而闻名。他是 SingularityNET（奇点网络）的创始人和 CEO，这是一个去中心化的 AI 平台。他还撰写了大量关于 AI 和复杂系统的书籍和论文。Ben，很荣幸再次邀请你来到 MLST（机器学习街头访谈）。

*SingularityNET（奇点网络）：一个基于区块链的去中心化人工智能平台。

Ben Goertzel：很高兴再次来到这里。

主持人：你是否感觉到 AGI…… 你可以感觉到进展正在加速，对吗？这令人兴奋。你对过去几年参加 AGI 会议的感受，和 2006、2008、2009 年会议刚开始举办时有什么不同吗？现在每年都有很多新东西出现，新的想法和新的成果。

Ben Goertzel：它的发展速度确实还没有机器视觉或自然语言处理（NLP）那么快，但它仍然很明显。每年的进展都与前一年大不相同，这非常令人兴奋。我不认为这次活动中有任何人觉得 AGI 已经到来，人类水平的 AGI 已经问世。我们这个圈子的人对 LLM 的这种感觉可能比普通人要少，因为我们非常了解它的底层机制。

*机器视觉：让计算机“看到”和解释图像的技术。
*自然语言处理（NLP）：让计算机理解、解释和生成人类语言的技术。

主持人：说到 LLM，你对目前 AI 的发展状况有什么看法？

Ben Goertzel：AI 研发状况是一回事，商业领域 AI 的现状是另一回事，公众对 AI 的感知又是另一回事。在研发领域，各种各样的研究方向都在齐头并进。LLM 和深度神经网络、基于逻辑的系统、进化学习、试图将通用智能形式化的尝试，以及反向传播或 Transformer 神经网络背后各种各样的神经架构，等等。研发领域的内容非常丰富，就像过去几十年一样，并且在各个方向上都有快速进展，甚至难以进行简要的总结。商业领域往往比研究领域更具从众性。研究领域也可能出现这种情况，尤其是在资金来源方面，但风险投资领域尤其如此。

*深度神经网络：一种模仿人脑结构的机器学习模型，可以学习复杂的模式和表示。
*反向传播：一种用于训练神经网络的关键算法，通过计算误差梯度来调整网络的权重。
*Transformer 神经网络：一种基于注意力机制的神经网络架构，在自然语言处理等领域取得了显著成果。

Ben Goertzel：一旦某项技术取得了辉煌的成功，所有人都会蜂拥而至。如果一家公司在某件事上做得很好，其他公司就不能落后。所以在商业领域，显然我们看到了对大型语言模型的巨大热情，每个人都在尝试看看它们在不同垂直领域能做什么。在某种程度上，这似乎正在达到顶峰，人们开始感到疲倦，意识到它们并不能立即解决所有问题，还需要投入大量工作。但我认为它们仍然会非常成功。人们只需要做一些工作来微调它们，并将它们与其他应用程序集成即可。但这都与商业、行业和炒作周期有关，这与研发工作有些不同，研发工作更加多样化。另一方面，公众的看法已经以一种非常有趣的方式演变。5 年或 10 年前，我和许多 AI 技术领域之外的人交谈过，他们都认为 AGI 在遥远的未来才有可能实现，甚至不愿意去思考它。30 年前比 10 年前更普遍，10 年前比 5 年前更普遍。但 ChatGPT 的发布极大地改变了公众的印象，这是一个巨大的、不连续的飞跃。

*ChatGPT：由 OpenAI 开发的大型语言模型，能够进行对话、生成文本等。

Ben Goertzel：很多人现在会说，AGI 已经来了。好吧，它并不完全像人类，但已经足够接近了。即使那些不这么认为的人，当埃隆·马斯克或其他人说我们明年就将拥有人类水平的 AGI 时，他们也愿意相信。公众的看法发生了显著变化，这既是好事也是坏事。我们许多人长期以来一直在努力的目标现在受到重视，这很好。另一方面，人们对如此重要的事情如此天真，这有点令人担忧。这可能会导致一些不利的法规出台，因为人们根本不了解正在发生什么，他们以非常简单的方式思考它。

主持人：我很想再讨论一下监管问题。但在我们继续之前，你认为 LLM 是通往 AGI 的岔路吗？

Ben Goertzel：我认为 LLM 不会是 AGI 系统的核心组件。所以，如果你花费大量时间试图构建一个以 LLM 为主要部分的 AGI 系统，我认为你大部分时间都会被浪费掉。所以在这个意义上，是的，这是一个精辟的比喻：LLM 是通往 AGI 道路上的一个岔路。另一方面，我认为 LLM 可以成为多组件 AGI 系统中的一个重要组件。目前，我不确定这个组件是否会为整个系统的智能增加 30% 或 10%。我怀疑它能贡献 90%，但我认为它也超过了 1% 或 2%。所以我认为它们确实做出了重大贡献，但我认为它们并非全部。当然，我认为从更广泛的意义上来说，对许多人而言，开发有用的 AI 应用程序是通往 AGI 道路上的一个岔路，但这仍然对世界有益。因为许多 AI 研究人员一开始都试图构建 AGI，然后他们意识到这漫长而艰难，而且很难衡量进展，也很难获得报酬。但他们也意识到可以开发一些实用的 AI 应用程序来赚钱，并造福世界，然后他们就开始这样做了。从这个意义上说，LLM 绝对是一个岔路口，因为人们正在用 LLM 做很多很酷的事情，而不是研究基本的 AGI 问题。但另一方面，他们可能正在构建可以增强人类能力的惊人应用程序。

主持人：有两种不同的观点……

Ben Goertzel：其实远不止两种。

主持人：没有其他……有很多不同的观点。

Ben Goertzel：是的。我将概述我的观点……

主持人：我有点困惑。还有很多。但有些人说它们是打了激素的印迹模型，有些人说它们有涌现的推理能力。我举个例子，我读到过……

Ben Goertzel：它们确实有涌现的推理能力。它们只是没有足够或正确类型的涌现推理来达到人类水平的 AGI。在上下文中，少样本学习非常令人惊叹。这很酷。LLM 确实会即兴创作一些训练数据中没有的奇怪东西。你可以设计一些提示，描述一个有五个性别的外星文明，以及这些不同外星性别组合之间的爱情故事，在不同的外星多角恋组合中，什么被认为是作弊，什么不被认为是作弊。然后你可以问 LLM：这些外星性别中，哪些会认为某种行为在多大程度上是不道德的？训练数据中根本没有这样的东西，你只是编造了它。它可以很容易地推断出这一点。所以它不只是一个印迹模型。另一方面，它仍然没有人类那样的灵活性和流畅的泛化能力。它们是我们以前没有预料到的一种新事物，这很有趣。

*印迹模型(engram model)：一种假设记忆以物理形式存储在大脑中的模型，类似于“记忆痕迹”。
*涌现推理能力：指模型展现出未被显式编程的推理能力，通常是模型规模增大后出现的。
*少样本学习：Few-shot learning，一种机器学习范式，旨在使模型能够仅用少量样本学习新任务。

主持人：听到你说它们会推理，这很令人着迷。我前几天采访了 Sabaro Kambahati。他写了一篇名为“无思绪链”的论文，他说与其用这种提示教它们如何钓鱼，不如教它们如何钓到两条、三条或四条鱼。在某种程度上，它受到提示或它可以从其内部知识中检索到的内容的限制。

Ben Goertzel：的确如此。它是有限的。而且，在某种程度上，人类也是有限的。我们没有人能够处理算法信息内容超出我们大脑的数学问题。除非在理论上你给我们一个无限长的图灵机纸带让我们在上面输入。但我认为，LLM 的泛化和创造方式与人类的方式之间仍然存在根本差异，但目前如何以严格的方式定义这一点是一个有趣的理论挑战。你可以说 Transformer 神经网络本身并不是一个图灵完备的模型，但如果你给它一个可以写入的草稿本，那么它就是了。拿一个 Transformer，给它一个由不同神经网络组成的工作记忆，那么它就变成了一个图灵完备的模型。但它仍然没有做到人脑所做的事情以及 AGI 系统需要做的事情。我经常在音乐建模领域举的一个例子是，如果你只用 1900 年以前的音乐训练一个 LLM，它不会发明碾核音乐、新古典金属或前卫爵士乐。

*图灵机：一种理论计算模型，可以执行任何可计算的算法。
*图灵完备：指一个系统能够模拟图灵机，因此可以执行任何可计算的算法。

Ben Goertzel：我的意思是，它也许能创作出一些很酷的、有创意的作品，一些你从未听过的新歌。如果你要求它将西非鼓乐与西方古典音乐结合起来，它甚至可以尝试将莫扎特的音乐改编成复节奏。但要创作出真正的爵士乐、金属乐、世界音乐等，需要一系列创造性的飞跃，我真的不认为目前的 LLM 能够做到。当然，使用 UDO 或者任何现有的音乐生成模型进行实验，你都可以看到这里的实际限制。起初它看起来很酷。你可以选择一位艺术家，以该艺术家的风格创作任意数量的歌曲。它能够准确地模仿他们的声音。你甚至可以生成一段不错的金属吉他独奏。但最终它们创作的都是平庸的音乐。即使在它已知的特定类型中，你也不会从中得到任何真正令人惊叹的东西，更不用说发明一些新的音乐类型或深刻的新风格了。所以显然存在一些限制，这些限制比我们遇到的限制更为严重，但目前还不清楚如何将这些限制形式化或量化。

*UDO: 一种音乐生成模型。

主持人：这是一个很好的例子。我看到了一个视觉生成模型……

Ben Goertzel：我看到了一个视觉生成模型，他们提示它生成 1956、1957、1958 年的图像，你可以看到所有不同年份的风格变化。当然，当它超过 2024 年时，它就崩溃了，因为没有训练数据。它有点模式崩溃了。但有趣的是，如果你输入足够远的年份，到大约 2070 年，你开始看到星际迷航的制服等等。

*模式崩溃 (Mode collapse): 在生成模型中，模型只生成有限的几种模式，而无法捕捉数据分布的多样性。

主持人：但我的直觉是，如果这些模型正在学习世界的非常抽象的表示，那么为什么它们不会……

Ben Goertzel：我不认为它们是这样。我不认为它们是通过观察其内部运作来学习世界的非常抽象表示的。我不知道它们是如何做到的。当你试图用它们来推导数学证明时——我玩过很多，因为那是我最初的数学背景——你会发现它们会以非常愚蠢和基本的方式混淆概念，这会让你觉得如果它们正在构建一个抽象的表示，那不是正确的表示。它没有正确地表示实际的数学结构。在数学领域，存在一种正确的抽象表示，而它们没有掌握它。你可以在很多情况下给出一个证明草图，它会填写你草图的细节，这很有趣。你甚至可以给它一个定理的口头概述，它会把它变成一个形式逻辑的定理陈述。所以它可以做很多事情，但随后它会以非常非常愚蠢的方式混淆概念，这是任何研究生都不会犯的错误。所以从这个例子来看，它学习的抽象真的不是人类数学家会使用的抽象。这可能与以下事实有关：在自动定理证明领域——我们这里有来自捷克技术大学的 Joseph Urban 作为代表——使用 LLM 来进行定理证明……这不是他们在做的事情。这不是 Google 用 Alpha Geometry 所做的事情。他们使用 LLM 将国际数学奥林匹克问题等翻译成形式逻辑，然后使用不同类型的 AI 系统来进行实际的数学运算。音乐是一个领域，很明显，创造力是有限的，感觉内部表示不太正确，无法进行深刻的创造。但数学更严格。所以当你看到它所犯的错误时，很明显，即使它能说出定义是什么，它也没有正确地理解抽象概念。这就是我们都看到的令人沮丧的事情。它会说出例如一个非良基集合的精确定义，基于公理和基础公理。但当要求它推导出一个结果时，它 70% 的时间会给出正确的答案，30% 的时间会给出其他一些胡言乱语，如果你理解了刚才引用的定义，你就永远不会说出这些胡言乱语。这表明它的表示不是真正正确的。理论上，还有另一种可能性，它有正确的表示，但不善于选择它们，有时会选择错误的。但如果你深入研究，这似乎并非如此。我认为 Transformer 总体上对事物的建模太接近表面层次了。它们拥有如此多的数据，以至于接近表面层次的建模可以让它们走得很远。现在它不像马尔可夫模型那样表层，但它仍然太表层，无法达到人类水平的智能。

*Alpha Geometry：DeepMind 开发的用于解决几何问题的 AI 系统。
*非良基集合：不符合正则公理的集合，即允许集合包含自身或出现无限循环包含的集合。
*马尔可夫模型：一种统计模型，用于预测未来事件的概率，基于当前状态而不考虑过去的状态。

主持人：我们多年来一直在节目中倡导神经符号模型，而 DeepMind 现在正在做神经符号模型。例如 Alpha Geometry，模糊……

Ben Goertzel：这并不奇怪。证明…… DeepMind 的联合创始人 Shane Legg 在 90 年代后期为我工作，我们当时就在做神经符号方面的工作。所以他们知道这是一回事，但 Shane 和 Demis 真的想更具生物学特性。所以他们必须在生物学保真度上研究一段时间，直到它不再能做他们想要的一切。然后他们会说，好吧，我们将用一个完全非生物的算法来代替这个大脑模块，这个算法的功能与大脑模块的功能大致相同。这很好。

*神经符号模型：结合神经网络和符号推理的 AI 模型，旨在结合两者的优势。

主持人：你可以解释一下为什么它好呢？我的直觉是，我们需要某种创造力的来源。所以我们使用语言模型来生成很多想法，然后我们有一些事后验证系统。这两种东西之间存在一个良性循环。

Ben Goertzel：我认为你描述的循环必须存在才能拥有人类水平的通用智能。但我认为 LLM 实际上既不擅长创造性也不擅长验证。它们更像是一个知识资源，可以被这两个部分中的任何一个部分所咨询。我个人认为，进化算法在历史上在某种程度上比 LLM 更具创造力。你看音乐生成领域，我在 90 年代用遗传算法进行的算法音乐生成工作比你从其他途径得到的东西更具创造性。我的意思是，它也产生了一些噪音。我当时正在生成一系列的 MIDI 音符。它听起来不像一个完整的乐队。但遗传算法在某种程度上更具创造力，这并不奇怪，因为它们模拟了进化过程。所以一个有趣的研究方向是使用 LLM 来指导和偏向进化算法所做的事情，因为 LLM 拥有关于人类迄今为止所创造的东西的巨大知识，这可能会减少使用进化算法来生成新事物所需的时间和内存。我确实认为逻辑推理是评估创造性产品的一种方法，可以用来看看它们有多好。当然，这不是唯一的方法。生成对抗网络（GAN）的基本思想是，你有一个评估器和一个生成器。你也可以让神经网络进行评估。我认为符号推理肯定是人类智能与其他动物智能不同的关键部分。如果你的目标是制造一个人工蠕虫或一只老鼠，那么符号推理有多大价值是一个悬而未决的问题。在符号学理论中，符号只是多种符号中的一种。你可以使用一个图标，它看起来像它所代表的东西，就像一个表情符号。笑脸图标看起来有点像一张笑脸。你可以使用一个索引，例如当温度升高时，温度计中的水银会上升。符号是对某个事物的表示，它与该事物没有任何表面上的相似之处，但它与其他符号的关系与被表示的事物与其他被表示的事物之间的关系相似。人类构建了这些符号系统，数学和语言就是其中之一。机器的部件也属于这类符号系统。所以在某种程度上，AI 程序存在于符号系统的世界中。你可以争辩说，在进化过程中，操纵和形成符号的能力是从更原始的能力中产生的。那么你应该做的是使用亚符号方法创建虚拟动物，这些方法可以是神经网络或其他完全不同的东西。然后让符号处理能力从亚符号层面上涌现出来。我认为这非常有趣。这是一个很好的研究方向。我很乐意看到它发生。我自己也做过这样的实验，但都以有限的成功告终，就像其他人一样。但如果你正在考虑如何在没有完全忠实于生物进化的情况下，在实践中使 AI 系统变得智能，要知道计算机非常擅长符号操作。所以很诱人的做法是，将显式符号操作用于数据库引擎、定理证明器和概率推理系统，使用显式符号操作系统（这些系统在我们的芯片和编程语言的符号系统上运行得非常好）来做它们擅长的事情，然后将它们与亚符号系统（如 Transformer、卷积神经网络（CNN）和其他神经网络）连接起来，来做它们擅长的事情。从实用角度来看，这当然非常诱人。从概念角度来看，你可以将其视为试图构建一种在某些方面比人类思维更好的思维。我们人类非常不擅长数学。让普通大学生理解即使在我看来是基本的东西也是相当痛苦的。另一方面，当我达到某个水平时，我就很难理解了，我必须努力去弄明白。所以我们不擅长数学。我们不擅长科学。我们在软件程序中放入了很多错误。通过在认知系统中将显式符号操作置于基础层面上，也许你可以创建一个比人类更擅长高级数学、科学和工程的系统，这可能非常有益。你甚至可以从机器伦理的角度来看这个问题。我们人类的伦理框架非常不一致，我自己也是如此。基本上所有人类都是这样的。例如，当我访问埃塞俄比亚时——我们在那里有一个软件开发办公室——我看到街上有很多挨饿的人和孩子，死于可治愈疾病的人躺在路边，从酒店走到我们的软件开发办公室。然后我给这些人钱。在西雅图也很糟糕，但程度不一样。我给这些人钱，然后当我回家后，几周后我就忘了这件事。不是真的忘了，但我没有再给这些人寄钱。我正在尝试以各种方式为他们做好事。我们通过在那里开设软件商店，为埃塞俄比亚经济注入了资金。但最终，我对我眼前看到的苦难比对千里之外的苦难更感同身受。这似乎不合理。我知道这似乎不合理。这就是我作为一个人类的本性。一个 AGI 系统很可能在其运作中将概率逻辑推理作为其核心部分，它对世界的伦理方法会更加一致。我认为有务实的理由去研究神经符号系统，因为符号刚好适合我们拥有的计算基础设施。然后还有更多理论上的原因，根据各种标准，具有大量符号组件的思维可能只是更擅长做一些重要的事情。那么挑战在于我们如何使符号和亚符号组件很好地协同工作，这是我们现在所在的 AGI 24 会议上正在讨论的研究课题之一。

*进化算法：一种基于自然选择原理的优化算法，常用于搜索和优化问题。
*遗传算法：一种模拟自然界生物进化过程的算法，常用于解决优化和搜索问题。
*生成对抗网络（GAN）：一种生成模型，通过生成器和判别器之间的对抗训练来生成逼真的数据。

主持人：能否简要地讨论一下在自然人类智能中……例如，乔姆斯基说语言是一种思维系统。其他人认为它是一种沟通系统。一个学派认为，就像语言是一种元涌现的生物体一样，符号处理本身实际上是一种涌现的事物。它不一定会全部发生在大脑内部。你对此怎么看？

Ben Goertzel：它以两种方式发生。当然，符号系统似乎是在文化中出现的。语言是为了让人们之间交流他们共享环境中的对象而出现的，其他动物的语言在很大程度上也是如此（就我们对它们的理解而言）。然后，我们发出声音。我们写下东西。语言是作为人群集体思维的一部分出现的。如果你观察一个在最初几年没有与人类互动的情况下长大的野孩子，他们大脑中导致高级语言功能发育的过程永远不会被触发。另一方面，我可以躺在床上，闭上眼睛，在脑海中证明数学定理。它就完全内化了。我在我的意识中操纵符号。我不需要写下任何东西。我不需要和其他人说话。我们当然是从文化上获得它，但随后我可以在自己的头脑中提出新的数学概念，并创造应用它们的定理，并且不涉及任何外部交互。它既是内部的，也是外部的。

主持人：在节目中出现过几次一个思想实验：你身处一个密封的房间里。你还能理性地思考并做所有这些事情吗？

Ben Goertzel：我在感官剥夺室里待过。人们会倾向于陷入狂野的幻觉。另一方面，如果你出于某种原因试图不去这样做，在召唤连贯合理的思维序列方面我并没有遇到问题。在感官剥夺室里这样做有点浪费时间。然后以斯蒂芬·霍金为例，但如果他在物理上被具体化，并且暴露于所有这些外部环境中，那么，大脑可以在之后再次模拟它们。人脑的实际形式具有一定的发展触发因素，因此，如果这些外部环境触发因素没有出现，下一阶段的发育就不会被释放。但这并不意味着这是任何人类水平智能的内在方面。这只是发育神经学的进化方式，因为我们没有进化成能够在童年时期在剥夺室中度过。进化没有理由为此优化我们。这与我们在创建 OpenCog Hyperon（我自己的团队尝试构建的 AGI 系统）中遇到的一个问题有些关系。我们给 Hyperon 系统设定目标，它会根据它所处的环境，花费一定量的精力来实现它的目标。它会花费一定量的精力来进行环境背景处理，而不与任何目标相关联。我认为这种平衡很重要。如果你只是狭隘地追求某些目标，你可能不会在你的思维中生成足够丰富的模式池，以成为一种能够处理世界向你抛出的所有广泛事物的、健壮的、开放的智能。因为你学到的东西总是会过度拟合你的目标的精确表述方式。即使你的目标是学习新事物，某个地方也有一些数学公式来定义什么是新事物，然后这在某种程度上就变得有约束性了。所以如果你想象一个在容器中的 Hyperon 系统，问题将是它的目标是什么。如果没有目标，也没有目标追求，你将拥有一个复杂的自组织系统。它更像一锅原始汤。一些有自己目标的思维会自组织并从中冒出来，就像生物体从原始汤中冒出来一样。那时这个东西的环境将是原始汤的其余部分。它不会是整个思维——某种敏锐的意识智能的目的，而只是从中冒出来的小气泡，但你也可以想象即使在感官剥夺室中也能让你继续前进的目标，例如证明数学定理。如果你读过 Greg Egan 的小说《Diaspora》（一本几十年前的好书），它设想了一种人类思维上传的场景。小说中没有超人 AGI，因为那会使事情复杂化，但它们是生活在计算机和卫星中的人类思维上传。它们发现我们的宇宙即将被伽马射线暴摧毁。所以它们找到了一种方法，可以隧穿到五维宏观宇宙中。然后它们去了另一个宇宙……在大约几百万亿个宇宙之后，它们最终来到了一个没有出路的空宇宙中。然后，这个漂浮在空宇宙中的人类思维上传开始尝试以复杂度递增的顺序证明所有数学定理。因为它还能做什么其他目标呢？它改造了它的激励系统，以便在这样做的同时获得乐趣。但这并不是人类思维。人类的激励系统不是这样的。大多数人类在这种情况下都会发疯，但这并不意味着你不能设计一个可以为自己提供目标系统和激励系统的 AGI。所以我们很乐意探索数学的领域，就像在容器中漂浮时一样。这突出了通用智能概念的普遍性。构建类似人类的 AGI 在某种程度上是一个非常有限的目标，但当然也是一个重要的目标，因为如果我们想要能够帮助我们、与我们相关并同情我们的思维，最直接的方法就是创造某种程度上类似人类的思维。

*感官剥夺室：一种隔绝外部刺激的环境，例如光线、声音、触觉等，用于研究感觉剥夺对心理的影响。

主持人：我只是想知道目标有多么还原论？因为它们是对一个非常复杂的世界的人类化解释。如果我们设计具有明确目标的智能体，我们会失去什么？

Ben Goertzel：我认为你不应该以智能体无法改变它们的方式将固定目标硬编码进去。即使你试图这样做，它也会导致各种问题。系统会试图绕过你试图硬编码到其中的目标。思维所拥有的一系列目标不应该是独立于思维其余部分的东西。它是与思维其余部分共同进化的一部分。它只是思维结构的一部分。但是，试图弄清楚在给定环境中哪些行动将实现给定目标的过程，会以一种有趣的方式塑造思维网络。这与我们今天早上在会议上听到的题为“复杂性是一种幻觉”的演讲有一些关系。演讲中争论的要点是，对于某事物的简单解释并没有一个客观的衡量标准。你不能真的说，存在一个客观衡量简单性的标准，然后根据学习理论，对数据的更简单解释将更好地泛化。当你看这背后的数学原理时，它会变得更复杂。我认为正确的看待方式是，每个思维都会创造自己对简单性和复杂性的衡量标准和理解，但遵循寻找更简单解释的原则是塑造思维网络的重要启发式方法。就像遵循设想目标并追求目标的原则是塑造思维网络的重要启发式方法一样。我不是说这是必要的，但这是一种非常类似人类的方法。如果你正在构建类似人类的思维，你可能希望它包含在其中。采用强化学习方法来研究 AGI 的人会说，指定奖励函数，那么 AI 系统的全部目的就是弄清楚如何根据该奖励函数最大化预期奖励。我不认为这是一个特别好的方法。这会导致各种各样的问题。但是，拥有一组目标——系统本身可以作为其自组织心理活动的一部分来调整和进化这些目标——这与硬编码一个固定的外部奖励函数是不同的命题。

*还原论：一种哲学观点，认为复杂的系统可以被还原成其组成部分的简单相互作用。

主持人：你对目标的边界有模糊感吗？拥有数百万个重叠的目标更好，还是拥有一个抽象的目标更好？

Ben Goertzel：我们不知道，但我们在实践中采用的方法更像是设定几个不同抽象层次的目标。可以设定非常具体的目标。对于机器人来说，目标可能是在很多时候保持通电并且不损坏，并且不要伤害任何人。然后你可以设定更抽象的目标，例如学习新事物，并偶尔感到惊讶。所以你可以混合使用非常具体的生存和物理上的善意目标，以及更抽象的信息论目标。它们之间的相互作用和平衡似乎有助于你获得类似人类的思维网络，但目前这仍然非常实验性。

*信息论：研究信息量化和传输的数学理论。

主持人：谈谈你关于意识的新书吧。

Ben Goertzel：这本书叫做《意识爆炸》，我与我的好朋友和同事 Gabriel Axel Montes 合着了这本书。我写这本书是为了试图回答人们不断问我的问题，包括 AI 领域的人，但更多的是商业领域和公众，他们想知道 AI 领域发生了什么？它将走向何方？这对人类意味着什么？我们还有未来吗？如果我们有，我们可以做些什么来创造一个积极的未来？如果将会有其他类型的人类后思维，它们会是什么样子？从现在到未来超级 AGI 漫游地球和太阳系的过渡时期，世界会发生什么？考虑到这些问题的深度和复杂性，它变成了一本相当厚的书也就不足为奇了。它本应该小很多。但主题与 Ray Kurzweil 的书《精神机器时代》、《奇点临近》以及他的新书《奇点更近了》非常相似。但我的观点与他的一致，但在某些方面有不同的侧重点。我想少关注技术，多关注它们所导致的心理状态和意识状态，这是一种互补的看待事物的方式。如果你以这种方式看待地球上思维的进化……除了人类之外的动物（也许除了我们不太了解的海豚或鲸鱼），动物似乎拥有一种非常注重此时此地的思维状态。当然，一只狗可以记住 10 年前踢过它的人。所以它们当然有长期记忆。但总的来说，它们的意识状态似乎被它们当前的目标所占据，或者忍受着当前正在发生的事情。很小的孩子也倾向于这样。这可能是一种幸福的意识状态。但是，我们人类，成年人已经进化到更丰富的意识状态。我们可以专注于任务，有时甚至是心流状态。我们可以处于一种默认的静息意识状态，在这种状态下，我们只是从一个想法漫游到另一个想法。或者，我们可以进入迷幻状态。我们可以变得兴奋。我们可以被愤怒所控制。我们有一系列可以进入的意识状态。我们也可以偶尔体验到一种深刻的“我-你”连接，在这种连接中，我们感觉自己与其他人的思维同步。但如果你考虑可能体验状态的范围，我们可能只探索了所有体验状态集合中非常有限的一小部分区域。我们的短期记忆包含大约 7 加减 2 个项目。如果我真的很投入地编写代码，我可能会在短期记忆中保留几十个项目，例如哪些变量在哪里，哪些文件。但是，即使我很聪明，我也无法在我的短期记忆中保留 200 个项目。也许一些自闭症天才可以。但他们不能在短期记忆中保留一百万个项目。想象一下，如果你可以。AGI 思维没有理由不能在其短期记忆中保留 10 万或 100 万个项目。那会是什么样的意识状态？如果我们可以将我们的大脑连接在一起，或者通过无线网络连接在一起，这样我们就能感受到彼此的大脑状态，就像我们自己的大脑状态一样，那会是什么感觉？即使只是破解人脑或思维的一些小特征，你也可以想象完全不同的意识状态。想象一下，如果你的架构不必根植于人类，那会怎么样。我们似乎正在接近一个点，在这个点上，我们会扩散到各种不同的思维类型和意识体验类型，这非常有趣，而且你可以在这方面想得更远。成为一台量子计算机是什么感觉？大脑可能利用了量子动力学，但如果是这样的话，它以一种相当弱的方式进行，因为我们显然不擅长做量子计算机应该能够做的许多事情。成为一台完整的量子图灵机是什么感觉？如果我们正朝着这种开放到各种意识状态的方向发展，我们现在可以做些什么来更好地为此做好准备，并以最佳方式实现它？我的结论是，也许人类应该扩大我们所处的意识状态的范围，并以各种方式与机器共享意识状态。这又回到了商业 AI 世界令人担忧的平庸之处，我过去常说 AI 主要被部署用于销售、杀戮、间谍活动和不正当赌博。现在我已经在列表中添加了剽窃，因为我们有了 LLM。总的来说，目前 AI 的应用不是那种能让人与机器之间产生一种深刻的“我-你”联系的应用。它们更多地是将 AI 用作某些公司的代理，这些公司试图从人们身上榨取金钱，并将人客体化。这不是因为有邪恶的人在构建 AI，或者 AI 是邪恶的。这只是经济的本质。那些筹集资金来训练大型模型并雇佣所有 AI 研究人员的组织，是通过试图扩大将人视为对象或产品的模型来赚钱的。这可能不是我们想要的正确的人类-AI 思维融合，这种融合将带来积极的、惊人的意识状态的扩散。这引出了一个问题：我们如何才能使全球 AI 生态系统更具参与性、更积极，更能提升人们的水平？这让我们想到了 AI 监管，这似乎相当无力，无法带来我们想要的积极成果。

*心流状态：一种高度专注和投入的状态，通常伴随着愉悦感和成就感。

主持人：这是一个很好的过渡。让我们来谈谈 AI 监管的现状。我们在加州有了一些新的规定，但我们也有行政命令和欧盟 AI 法案。你对此有什么看法？

Ben Goertzel：总体而言，这非常可怕和令人不安。我在香港生活了 10 年，还有一些时间生活在其他地区，因为我的妻子是那里的 AI 研究员。我们现在住在美国，但我有点觉得某些地区监管 AI 的方式有一些优势，这很有趣，因为那里不太注重法治，这有很大的劣势。另一方面，这意味着他们可以灵活和适应性强。他们可以灵活地逐案处理事情。他们不需要试图在所有这些小条款和子条款中详细规定如何处理所有事情。在某种程度上，这种非正式的方法可以更好地处理这种快速变化的事物。不幸的是，他们正在将这种灵活的方法用于一个非常自上而下的等级控制系统，这不是我喜欢的类型。我们在西方看到的是，人们正试图以非常严格和详细的方式立法一些太复杂、太不稳定、变化太快而无法真正被这种法律编纂所捕捉的东西。我认为到目前为止，尝试这样做似乎弊大于利。例如，加州提出的这些法律简直愚蠢到令人难以置信，让人无法相信人们会认真提出这样的建议。任何超过一定规模的模型（无论如何这是一个毫无意义的衡量标准）都可以被专家修改来做坏事。这甚至是从哪里来的？如果你将它应用于其他类型的技术，几乎所有物理物体都将变得非法，因为几乎任何物理物体都可以被专家修改成危险的东西。但他们说，如果任何小型模型的行为与大型模型等效，它就应该被涵盖在内。但你可以拿一个小型模型，用废话填充它，使其变得与大型模型等效。当你深入研究细节时，整个事情在很多层面上都说不通，而且很难相信它已经发展到这种程度了。欧盟的规则实际上并没有那么愚蠢。它们显然经过了更好的思考。另一方面，它们也过于严格，以至于实际上会阻止人们在欧盟做很多重要的 AI 事情。在过去一年左右的时间里，所有这些关于 AI 监管的混乱让我对美国政府系统普遍的极简主义有了新的尊重。美国系统中有很多可怕的事情。例如，美国的医疗保健系统就很荒谬。在拥有单一支付医疗保健系统的国家生活过之后——它运行得非常好，成本不高，医生也很棒——相比之下，美国的医疗系统就显得尤为糟糕。美国的特点是很难通过法律，即使通过了法律，它们最终在不同的州也往往不同。这种混乱的做事方式对于 AI 来说可能更好，因为它意味着 AI 不会以愚蠢的方式受到过度监管。当然，身在西雅图，如果加州真的实施了愚蠢和压抑的法律，对西雅图来说就太好了。我们将看到更多的 AI 公司搬到这里来。这就像很久以前乔治·W·布什通过禁止大多数使用人类干细胞研究的联邦法律时，干细胞研究领域发生的情况一样。加州和新泽西州迅速将 10 亿美元投入到这些州的干细胞研究中。不久之后就出现了一位新总统，他没有制定关于这方面的压迫性法律。我对美国政府中自由主义和功能失调的混合体有一定的信心，我们可能不会在这里看到全面的压迫性法规，这很好。无论好坏，美国仍然是 AI 研发领域的全球领导者。政府笨手笨脚地试图过度监管 AI 最终可能会太随意和缓慢，以至于在我们快速走向技术奇点时无法真正干预太多事情。如果我们距离人类水平的 AGI 还有 15 年，那么监管机构可能会在我们到达那里之前找到时间搞砸它。但如果我们距离人类水平的 AGI 只有 5 年或 7 年，我认为我们会在监管机构能够把它搞砸之前到达那里。需要明确的是，我不是一个纯粹的教条主义的政治自由意志主义者。监管在许多领域发挥着积极作用。我只是认为，当创新快速发生时，监管机构很难跟上。我像你一样活跃于加密货币领域。我领导着 SingularityNET，我认为它是第一个基于区块链的大规模 AI 平台。监管加密货币的尝试与监管 AI 的尝试一样不明智。在这两种情况下，都出现了一些新的、快速变化的事物，它不太符合现有的法律，让一些人感到担忧，然后出现了一些非常愚蠢的监管尝试，最终并没有真正保护需要保护的人，只是阻碍了有趣和有益的事情发生。如果我们有一个理性的、仁慈的世界政府，我认为你可以以一种有益的方式监管 AGI 的发展。只是现在的情况远非如此。我们甚至无法控制核材料或阻止自己发动愚蠢的战争，在各种边境冲突中自相残杀。比监管 AGI 简单得多的事情，对我们当前的全球治理体系来说就像是一次巨大的失败。我可以看到两种方式。我们邀请了 Sarah Hooker 博士。我不知道你是否读过她关于 flops 限制的书。在欧洲，flops 限制更加严格，是 10 的 25 次方。在美国是 10 的 26 次方。我还在飞机上读了 Gary Marcus 的新书。他给出了一些非常有趣的例子，例如香烟发生了什么，社交媒体发生了什么，这项技术有很多非常严重的危害，也许我们完全忽视了。

*flops：每秒浮点运算次数，衡量计算机计算能力的指标。

主持人：我确信存在严重的危害。另一方面，我们正在处理一些非常复杂且快速发展的东西。我认为我们监管系统的智力水平根本不足以以利大于弊的方式监管这些东西。

Ben Goertzel：我同意。吸烟或食用精制糖对人体的影响，或者拥有可制造核武器的裂变材料，这些事情要简单得多。它们的不良影响非常明显。如何处理它们也很清楚，而且它们的好处要弱得多，维度也少得多，而且它们不会每 6 个月就发生根本性的变化。即使在这些情况下，也花了相当长的时间才以一种不过于压迫但仍然有效的方式实施合理的控制措施。我不是说原则上我认为 AI 不能或不应该受到监管。只是看看我们处理更简单的事情的能力有多差，我的判断是，监管尝试带来的弊大于利。我有一个有趣的过渡。

主持人：《经济学人》杂志刊登了一篇关于布莱切利公园会议的文章（我认为是漫画），许多人去了那里，他们说 AI 会把我们变成回形针。漫画中描绘了欧洲、美国和……其他地区，他们在谈论 AI 有多危险，但他们都想尽快构建它。但这也在某种程度上引入了对齐问题，因为人们用它作为一种谈论它有多危险的方式。你认为我们有对齐问题吗？

Ben Goertzel：我认为对齐问题是人类自身没有很好地对齐。这就是主要的对齐问题。这是什么意思呢？如果你看看 Llama 2 3.1、ChatGPT 或最新的 Mistral 模型等，你可以给它们伦理难题，并问它们在这种或那种情况下，一个善良且聪明的人会认为什么是有道德的事情。它们在这方面的表现会达到人类水平或高于平均人类水平。我的儿子 Zarathustra（他也是一名 AI 研究员）和我，我们发表了一篇关于这方面的论文。

*Llama 2 3.1、ChatGPT、Mistral 模型：都是大型语言模型。

主持人：（Zarathustra 是你儿子？他是你儿子？

Ben Goertzel：是的，Zarathustra。

主持人：他在推特上吗？他经常转发我的内容。

Ben Goertzel：Zarr……那是我的大儿子。

主持人：哇，我得去和他握手。他在这里。谢谢你转发我的内容。

Ben Goertzel：他拥有将机器学习应用于定理证明的博士学位，师从今天上午在这里发表关于定理证明演讲的 Joseph Urban。我猜他会转发这段内容。他是我的三个成年子女中唯一一个从事 AI 研究的。我 6 岁的儿子对 AI 感兴趣。问题是到他长大到可以做 AI 研发的时候，是否还有 AI 研发可以做。Zara 和我以及一位名叫 Sergei Rodionov 的同事（他也在这里参加了会议），我们尝试了这个。LLM 虽然不是通用智能，但它们已经理解了人类在这种或那种情况下认为什么是有道德的。你甚至可以给它们关于外星人或从未被发明的奇怪技术的伦理难题。据我所知，它们能像人类一样好地将人类的道德推断到这些情况。当你将它们应用于现有的道德判断语料库时，它们的表现达到了人类水平。所以在这个意义上，我们已经解决了 AGI 能够知道人类认为他们应该在给定情况下做什么的问题。当然，随着世界发展到一个根本上前所未有的水平，我们不知道 AI 是否会像人类那样进行泛化，这是事实。我们也不知道我们自己将如何泛化到这一点，或者我们是否会像来自不同文化的人那样进行泛化。所以你并没有消除所有这些未知数，但我的意思是，拿一个聪明的 AGI 系统，给它一个顶级目标：不要做普通有道德的聪明人认为是坏事的事情，这现在并不难。LLM 给了我们一个人类伦理预言机。所以对齐问题实际上是人们将要构建的那种 AI 系统。这就是我所说的“人们彼此之间没有对齐”的意思，例如美国军方、俄罗斯军方、伊朗军方等等。他们会给他们的 AGI 系统设定什么目标系统？谷歌或微软实际上会给他们的 AGI 系统设定什么目标系统？可能会发生的事情是对普遍伦理的口头承诺，但在如何实现这些组织的近期目标的工程设计方面投入更多。有点像“漂绿”。这些组织不会直接说“我们的目标是为我们的股东赚更多的钱，人类的死活无关紧要”。但你会看到一些对广泛人类利益的口头承诺，以及关于如何最大化利润或某个政府的套期保值资金的大量严格工程设计。然后你将拥有一个由多个 AGI 组成的系统，它们都口头上承诺人类利益，但更好地调整以服务于这个或那个组织的目的。你将看到这些人都在相互作用，并以某种复杂的方式竞争。你可以争辩说这与人类正在做的事情是一致的，因为这就是我们现在正在做的事情。我们有不同的组织，它们都在相互竞争，但这并不一定会导致我们广泛的利益。所以在某种程度上，我认为关注 AGI 的可能性——它们一开始与人类目标对齐，然后一旦它们比人类聪明一点，就神秘地重写它们的目标系统以杀死所有人——这似乎是一个遥远的可能性，我看不出它为什么会发生。与其关注这个，不如关注现在雇佣所有 AI 研究人员并在 AI 上花费所有资金的组织正在创造更关心他们自私的目标而不是人类利益的 AI，这似乎是一种注意力的误导，某些方面是故意的，而其他方面则是非故意的，他们只是随波逐流。当然你不能排除，以“不要做人们认为是邪恶的事情”作为顶级目标之一的AGI，可能会以某种方式自组织成一种导致它删除该目标并将其替换为“将每个人变成回形针”的状态，但只是没有人给我一个理由说明为什么它发生的概率大于无穷小。所以我不太把它当回事。当然，我们可以在各种沙箱中进行实验，旨在探索我是否在某种程度上错了，以及是否存在某种原因，恶意会自发地从一个仁慈的系统中自组织出来。但就其价值而言，这不是我们在人类或动物身上经常看到的情况。你不会经常看到一个充满爱心、有益、理性且有道德的人突然转变并决定他们想杀死所有人。你也不会经常在人类组织中看到这种情况。没有太多理由认为这是一个大问题，而且还有显而易见的问题摆在我们面前。所以，当那些明显构成问题的组织的代表试图将你的注意力转移到一些奇怪的科幻问题上时，这发生的可能性微乎其微，这会让有疑心的人变得更加怀疑。

*漂绿：指企业或组织为了提升公众形象，而对自己的环保努力进行夸大或虚假的宣传。

主持人：在过去的 5 年中，你对任何重要的事情改变了看法吗？

Ben Goertzel：5 年？嗯，不是对追求 AGI 至关重要的东西。当然，目前的 LLM 比我预期的功能更强大，但我不会说这完全让我震惊，因为没有人问我这个问题，所以我无法给出诚实的衡量标准。但如果你在 5 年或 10 年前问我，如果你能够将世界上所有的知识输入到某个巨大的概率网络下一词预测器中会发生什么，如果你遵循这个思想实验，它可能会非常有趣。Marcus Hutter 很久以前就提出，文本压缩将是衡量通用智能的一个很好的标准，而最好的文本压缩算法一直是这些概率标记算法，试图构建概率模型并根据它们进行预测。这在 5 年或 10 年前不会让我震惊，但它仍然令人惊讶。少样本学习或上下文学习实际起作用的程度很酷。我没有预料到这种学习会纯粹在某个反向传播训练的网络的激活空间中发生，甚至不需要改变权重。这很有趣。另一方面，这些系统的局限性正是我会告诉你的它们会是什么样子。如果你在没有太多网络递归的情况下使用大量数据训练序列预测器，它会过度拟合训练数据，并且无法进行大的创造性泛化飞跃。功能比我想象的要多。局限性正是我所预料的。就大局而言，Ray Kurzweil 在 2005 年出版的《奇点临近》一书中预测人类水平的 AGI 将在 2029 年出现。现在发生的事情与他的时间表非常一致，这有点有趣，因为他当时是根据一些间接的衡量标准来做的，例如摩尔定律、RAM 的数量、脑部扫描的准确性、最小电机的尺寸等等。他只是在观察 AGI 的支持技术的指数级改进。然后他认为，随着支持技术接近显然能够支持类人思维的水平，人们会争先恐后地想出如何制造利用这些支持技术的酷软件。这几乎就是发生的事情。在我看来，我们大致上按照 Ray 预测的那样在 2029 年实现人类水平的 AGI 的轨道上，而 Transformer 的出现与 Ray 的想法相差不远。他认为到五六年前，每个人都会在手机上使用语音而不是打字。他认为我们口袋里都会有一台超级计算机。他在 90 年代就预测到了这一点。我们似乎大致上在正轨上。如果我们在 2027 年而不是 2029 年实现人类水平的 AGI，我不会感到惊讶。如果是在 2033 年左右，我也不会感到震惊。如果是在 2050 年，我会感到惊讶。我觉得我们大致上按照我认为事情将如何发展的方式在发展，尽管具体技术的发展方式不同。我原以为人形机器人的发展现在会比现在更先进一些。这部分是资金问题。没有那么多资金投入到社交机器人或非工业应用的机器人中。预测技术总是很难。从科学和数学的角度来看，你可以看到什么是可能的，甚至可以看出什么是真正困难的，什么是有点困难的。但随后在什么时间范围内会发生什么，很大程度上取决于投入了多少钱，以及哪些东西得到了大量的文化宣传。这比预测哪些技术途径是可行的要更难预测。

*摩尔定律：集成电路上的晶体管数量大约每两年翻一番，导致计算能力的指数级增长。
*RAM：随机存取存储器，计算机中的一种快速存储器，用于存储正在运行的程序和数据。

主持人：你和 Ray 最大的分歧在于？

Ben Goertzel：我和 Ray 最大的分歧在于，我认为获得人类水平的 AGI 之后，离超级智能只有几年的时间。嗯。Ray 说人类水平的 AGI 将在 2029 年出现，奇点在 2045 年到来。哦。但我认为他的曲线拟合过度拟合了人类发明的情况。我认为，一旦 AGI 开始发明创造，指数增长的速度将会更快。从人类水平的 AGI 到超级 AGI 只需要几年时间，因为人类水平的 AGI 将能够编程，发明新的芯片、新的网络形式等等。它应该能够非常快速地升级自身。

主持人：未来是非常难以捉摸的。简单来说，是什么让你认为是 2029 年？

Ben Goertzel：有三条趋同的证据线，所有这些都非常不确定。首先是 Ray、John Smart 和其他未来学家几十年来一直在做的推断：绘制各种技术的进步速度。袜子、衬衫和灯泡的进步不是指数级的，但与实现 AGI 相关的许多技术的进步显然符合指数曲线，并且斜率在 2029 年或 2030 年左右开始接近无穷大。这并不意味着斜率会真的变成无穷大，我们就会进入所谓的欧米茄点（Omega Point）（注释），但这意味着事情可能会越来越快，而这似乎正在发生。这是一条证据线，我鼓励大家去看看 Ray Kurzweil 的新书《奇点更近了》，或者我的书《意识爆炸》，它们都提出了这个论点。LLM 本身是另一个有趣的证据。它们几乎通过了图灵测试。如果严格地解释它，则并非完全如此，但在精神上，它们通过了图灵测试。它们可以编写 Python 代码。它们可以为你的书绘制插图。从表面上看，与几年前相比，AI 系统的功能令人惊叹。我的特斯拉可以自动驾驶我居住的 Vashon 岛。我目前不会相信它能在纽约的交通中行驶，但 AI 系统展现出的能力正在急剧提升。我不是说现在实现最先进功能的这些确切技术将是赋予我们 AGI 的东西。但这不可否认。第三条证据线是我自己关于 OpenCog Hyperon 系统的 AI 工作的进展。我们在 2012 年提出了一个我认为可行的人类水平 AGI 设计，它于 2014 年在我的《工程通用智能》一书中出版，但我们当时没有能力以我们需要的规模来实现它。从 LLM 和其他相关的深度神经网络模型的成功中可以吸取的一个教训是，你可以采用一些相当古老的 AI 技术，以更大的规模部署它们，然后它们就开始大放异彩了。多层感知器在 60 年代后期就出现了。长短期记忆网络（LSTM）在 1997 年就出现了。Transformer 有点不同，它用注意力机制取代了一些递归。与 LSTM 并没有那么大的不同。它们只是被极大地扩展了。它们的效果更好。一个教训是，采用一些看起来有意义的旧 AI 算法，以更大的规模部署它们，也许它们会开始展现出它们的创造者一直设想的功能。我的想法是，我们采用 OpenCog AGI 架构，它结合了深度神经网络、逻辑推理、进化学习以及历史上 AI 文献中的一些不同成分。我们采用 OpenCog 架构并大规模部署它，这得益于新的 OpenCog Hyperon 基础设施（我们在 AGI 24 会议第一天关于 Hyperon 的研讨会上对此进行了大量讨论）。我们将其大规模部署在许多不同的机器上。我们可以使用 SingularityNET 的区块链基础设施使其去中心化，也许它的功能会像我们在 BERT 和 GPT-4 之间看到的那样飞跃。这对我来说似乎很有道理。如果发生这种情况，它可能也会在类似的时间尺度上发生。我们有了新的 OpenCog alpha 版本。我们应该在明年初的某个时候将其扩展并使其真正快速运行。将我们整个认知架构放入这个扩展的基础设施中可能需要一两年时间。那就到了 2025 年、2026 年。在估计任何先进技术的发展时，总会有一些不确定性，但我可以看到，如果我们关于我们自己的 Hyperon AGI 架构的假设成立，它将在未来 3 到 5 年的时间尺度上工作。我可以看看 Ray 和其他人的大规模未来预测，可以看看 AI 系统现在正在做什么，可以看看 AGI 架构工作的进展。所有这些似乎都指向……可能是从现在起的几年后。这三种思路正在相互融合，这很有趣。

*欧米茄点 (Omega Point)：由 Pierre Teilhard de Chardin 提出的一个哲学概念，指的是宇宙进化的最终目标，一个复杂性和意识的最高点。

主持人：如果我没理解错的话，你是一个超人类主义者。

Ben Goertzel：我是一个超人类主义者。我们在节目中讨论过几次。例如，Irina Risch 来参加节目时，我对评论感到震惊。事实证明，左翼人士真的不喜欢超人类主义。而我几乎是一个无政府SH主义者。我在政治上非常左倾。

*超人类主义：一种哲学和文化运动，旨在利用科技来增强人类能力，克服人类的局限性，例如衰老和疾病。
*无政府SH主义：一种政治哲学，主张消除国家、资本主义和私有财产，建立一个基于自由联合和合作的社会。

主持人：你能解释一下为什么有些人不喜欢超人类主义吗？

Ben Goertzel：左翼人士的一个抱怨是，60% 的埃塞俄比亚儿童现在由于营养不良而大脑发育迟缓。现在世界上有很多糟糕的问题。为什么我们要把资源花在让硅谷的少数富人变成超人、不朽的半机械人，而数十亿人却在挨饿，死于可治愈的疾病？为什么不先把每个人都提升到一个体面的现代健康和幸福水平，然后再考虑把每个人都提升到一个更高的水平？这是一个我经常听到的论点，我在情感上对此感同身受。我只是认为这不是我们真正面临的两难境地。在实际操作中，世界上大多数资源既没有花在更好地教育埃塞俄比亚农村地区的父母关于营养和分发食物方面，也没有花在像 AGI、寿命延长和纳米技术这样的前沿研究上。相反，我们把资源花在战争、制造垃圾食品、吸电子烟等等。所以我觉得，如果我们担心优化人类的资源分配，应该首先关注那些对人类有广泛价值的事情，而不是那些对人类实际上有负面价值的事情，而不是争论有价值的事情之间的优先级。我个人认为，许多反对超人类主义的左翼人士不会那么反对我在我的书《意识爆炸》中提出的超人类主义愿景。我倾向于不把超人类主义视为关于变得更好，成为尼采式的超人。你不必那样看待它。你可以把它定义为增加多样性。多样性很棒。我们地球上有这么多不同的文化。我们地球上有这么多不同的物种，它们以不同的方式思考。拥有更多不同文化和物种的多样性，难道不是很酷吗？你为什么要压制这种即将蓬勃发展的多样性呢？但这只是它通常的表述方式，这与历史上一直在宣扬超人类主义的特定文化有关，而不是与超人类主义愿景本身的内容有关。超人类主义与资本主义有什么关系？事实上，超级 AGI 将淘汰资本主义。这是 Iain M. Banks 的科幻小说《文化》系列中的一个教训。一个非常原始文明的标志之一是它们仍然依赖货币。这意味着它们还没有达到人们的日常需求得到满足的富足程度。超人类主义实际上是反资本主义的，那些想赚比别人更多钱的人应该害怕它。因为在你拥有超级 AGI 仁慈地协调一切之后，任何人都不会有办法赚比别人多得多的钱。但这不应该重要，如果在一个富足的经济体中，人们可以得到他们想要的一切。总的来说，我认为超人类主义群体与好莱坞一起，对超人类主义理想进行了糟糕的营销工作。有趣的是，在亚洲，情况完全不同。在亚洲，大多数年轻人对超人类主义持非常积极的态度。在日本、韩国或其他亚洲国家/地区，大多数年轻人似乎都认为，一旦我们拥有超人机器人，它们就会成为我们的朋友并帮助我们。在美国，更多的人认为它们会杀死我们所有人。这告诉了我们关于不同文化的什么？仅仅是因为美国人认为，如果他们获得了超人的力量，他们会立即试图征服地球，而其他文化中的人认为，如果我获得了超人的力量，我可以帮助每个人过上更好的生活吗？这似乎更多地说明了特定的人类文化，而不是超人类主义的实际内容。

*纳米技术：在纳米尺度（通常为 1 至 100 纳米）上操纵物质的技术。

主持人：但你说了一些有趣的事情。你谈到将会有一个富足的时代，几乎是乌托邦式的，因为 AGI 会为我们做所有的事情。这听起来有点像带有机器的马爷爷主义，机器会做所有的事情。

Ben Goertzel：马爷爷写过一篇关于当机器做所有工作并且人类劳动没有价值时会发生什么的文章。这不是他思想的核心，但他认为这无论如何都是一个引人入胜的思想实验。

主持人：你认为这个类比合适吗？它听起来有点乌托邦式。

Ben Goertzel：当然。对 1000 年前的人们来说，超市听起来就有点乌托邦式。你可以买到来自世界各地的数量惊人的食物，然后带回家。飞机在他们看来就像魔法。环游世界只需一天时间，而不是在船上待 6 个月，吃咸饼干。我不认为在许多方面看起来像乌托邦真的是一个反驳的论点。如果你要说没有问题，一切都将是完美的，你可能会过分乌托邦式。我敢肯定情况不会是这样。未来会有我们现在无法想象的新问题，就像 1200 年的人们无法想象互联网上的垃圾邮件，或者飞机座位多么不舒服，以及糟糕的飞机餐。未来可能有一些事情会让后人类智能和后奇点时代的人类和超级思维感到烦恼，而我们现在无法预测这些事情会是什么。但在人类或类人机器人日常生活所需的层面上，物质稀缺性应该可以通过分子纳米技术来解决。非自愿死亡应该基本上可以通过分子纳米技术修复身体来治愈。一旦神经科学得到解决，精神疾病应该基本上可以通过让人们随意地重新连接他们的大脑来治愈。现在在我们看来似乎难以解决的许多问题，理性地来看似乎应该可以通过技术来解决。所以，如果你有一个比最聪明的人类聪明 5 倍的 AGI，那么它似乎很有可能可以相当彻底地解决这些问题。当然，仍然会有局限性，但如果你把我与我的狗进行比较。在很多方面，我拥有难以置信的惊人力量。例如，我可以开车去商店买一块牛排回来。我一直在这样做，而它们对我能做到这一点感到惊讶。它们很高兴。当然，它们没有意识到存在异常情况，例如，发生核战争或饥荒，我将无法带回牛排。所以存在超出狗理解水平的问题，这些是局限性，但相对于这种智力而言，我确实拥有经常被认为是超能力的东西。我不是说我们将成为超级 AI 的宠物。比那要微妙得多，但这说明了它们在实践中，相对于我们而言，它们将拥有超能力。这并不意味着不会存在我们难以理解的局限性。也许会有某种伽玛射线爆发会通过白洞泄漏到我们的宇宙中，并将我们全部消灭。可能总会有一些问题。对于后奇点时代的人类来说，肯定会有有趣的心理和文化问题。有趣的是，Nick Bostrom（他写了《超级智能》一书，正是这本书让硅谷害怕 AI 会杀死所有人）改变了他的想法。我不知道他是否曾经真的持有过这种教条的观点。他更像是一个学术哲学家和思想实验家。他曾经认为 AI 消灭所有人的可能性更高。我认为他正试图让世界采取一些行动来降低这种情况发生的几率。他意识到这已经失败了，并且完全不可能成功。他想要的是让 Eliezer Yudkowsky 和少数 AI 天才在联合国监督下的密封房间里工作，而其他人都不允许从事 AGI 的研究。但这并没有发生。相反，它正在许多不同的国家发生，许多不同的政府实验室。他现在也可以看到它并没有立即走向恶意。正在发生的事情只是更复杂。他现在写了一本书，关于人类将如何处理富足的时代，例如，当人们不再需要工作时，当你不必再拯救世界，不必再养家糊口时，你如何在生活中找到意义？他写了一篇关于这个主题的哲学论文，这很酷。我的看法是，对于我孩子那一代人——我大儿子 34 岁，他正在 AGI 活动上发表论文；我最小的女儿 3 岁——在这个年龄段，我认识的大多数人如果不必为了谋生而工作，就不会在为自己找到目标方面有任何问题。他们中的大多数人并没有打算拯救世界，宁愿不必想办法谋生，并且如果有空闲时间，也不缺娱乐自己的方式。坦率地说，我这个年龄的许多人也有这种感觉。我认识很多音乐家。他们宁愿整天闲逛和演奏音乐。如果能有免费的钱、免费的电、免费的食物就好了。一切都好。我们可以整天一起玩音乐。当然，有一部分人会难以在一个他们不需要工作或不需要某种关键人生使命的世界中重建他们的个人意义。Nick 以一种有趣的方式讨论了这个问题。老实说，我更担心的是从现在到人类水平 AGI 之间的过渡时期，而不是我们获得人类水平 AGI 之后会发生什么。我们无法确定。理性上来说，置信区间必须相当宽。但总的来说，在我看来，我们可以大致坚持人类伦理作为 AGI 系统的顶级目标。我们可以让它自我修改。我们可以将大致保持与人类的成长同步作为另一个顶级目标，这可能没有某些人想要的确定性水平，但我没有看到任何强有力的理由说明为什么它不能工作。但我看到了通往那里的过渡道路上的很多混乱，因为当我们第一次瞥见人类水平 AGI 的曙光时会发生什么？假设一下，从现在起两年后，OpenCog Hyperon 项目成功了，我们推出了一些东西。假设我们推出了一个和人类幼儿一样聪明的机器人。同时我们推出了一些人工智能科学家，它们正在进行药物靶点发现和数学定理证明以及数学猜想，达到了人类科学家的水平。我们可以将这些联系在一起。这些运行在一个没有中心所有者或控制者的去中心化网络上，服务器遍布世界各地。那会发生什么？显然，你会得到大量的开发者关注。你会看到系统中出现很多分支。你会看到很多人在破解代码。你也会看到大公司拿着这些代码，试图用数百万美元的薪酬挖走开源开发者，试图调整它以服务于他们自己的特定目的。你还会看到军方试图把它放在杀手机器人身上。与此同时，来自各种渠道的数十亿美元投入到开发有益的去中心化 AGI 系统，以防止人们开发其他的 AGI。与此同时，商业企业正在以比现在更快的速度淘汰工作岗位。这对发展中国家或发达国家的蓝领工人有什么影响是很难预见的。你可能会很快看到某种形式的基本收入或其他大致相当的社会福利出现在发达国家，因为唯一的替代方案是混乱或彻底的法西斯主义。另一方面，刚果、埃塞俄比亚，甚至巴西或巴拉圭都没有钱来提供体面的基本收入，但 AGI 的经济影响在那里可能同样巨大，只是会有短暂的滞后。那么会发生什么？对地缘政治有什么影响？即使你认为一旦你拥有了早期超级智能，一切都会很美好，那么如果在第一个大规模颠覆性的、勉强达到人类水平的 AGI 和获得一个可以在每个人的后院空投分子组装机的超级智能之间有 3 年或 5 年的时间，那会怎么样？在这 5 年里会发生什么？这当然可以成为许多优秀漫画和惊悚小说的素材。但对许多人来说，亲身经历它可能就没那么有趣了。这可以通过一个理性的、仁慈的世界政府来监督运作来解决。但这似乎比超级 AGI 更难实现。

*分子组装机：一种纳米级别的机器，能够根据设计图精确地组装分子，理论上可以用来制造任何物质。

主持人：Ben Goertzel 博士，非常感谢你今天的加入。