深度思考：通用人工智能（AGI）的定义、评估与挑战

“ Google DeepMind 提出了一个对通用人工智能的能力和行为进行分类的框架 （AGI）模型。该框架介绍了 AGI 性能、通用性、 和自主权。并提炼出AGI 本体应满足的六个原则，依据能力的深度（性能）和广度（通用性）提出「AGI 的分级」。 本篇文章为《Levels of AGI: Operationalizing Progress on the Path to AGI》 精读以及对内容的理解，可能原始内容有一些出入。”

论文:《Levels of AGI: Operationalizing Progress on the Path to AGI》

人工通用智能（AGI）是计算机领域一个重要且充满争议的概念，用来描述一种能够在大多数任务上至少与人类一样聪明的人工智能系统。随着机器学习模型的快速发展，AGI的概念已经从哲学辩论的主题转变为一个具有近期实际意义的话题。一些专家认为“AGI 的涌现” 已经存在于最新一代大型语言模型（LLMs）中；一些预测人工智能将在大约十年内在广泛领域超过人类；甚至有人断言当前的 LLMs 已经是 AGI。然而，如果你问 100 位人工智能专家他们对 “AGI”是什么意思，正所以为 1000 个人中就有 1000个 哈姆雷特，你可能会得到 100 个相关但不同的定义。

AGI 的概念之所以重要，是因为它映射了人工智能的目标、预测和风险：

• 目标：实现人类水平的“智能”是当前领域许多人的内在或外在目标，从1955 年达特茅斯人工智能会议开始到今天的领先人工智能公司，它们的使命陈述都涉及到“确保变革性人工智能帮助人类和社会”（Anthropic，2023）或 “确保人工通用智能造福于全人类”（OpenAI，2023）等理念。
• 预测：AGI 的概念与对人工智能进展的预测相关，即向更广泛的普适性发展，逼近甚至超过人类的普适性。此外，AGI 通常与 “emergent” 属性相互交织，即开发者没有明确预期的能力。这些预测关于 AGI 的能力进一步预测了可能的社会影响；AGI 可能具有重大的经济影响，即达到广泛劳动替代的必要标准，以及地缘政治影响，涉及 AGI 可能提供的经济优势，以及军事考虑。
• 风险：最后，AGI 被一些人看作是识别极端风险的概念，因为有人推测AGI 系统可能能够欺骗和操纵、积累资源、推进目标、表现代理性， 在广泛领域超越人类，在关键角色中取代人类，或进行递归性自我改进。

在本文中，DeepMind 团队主张人工智能研究界有必要明确思考 “AGI” 是什么意思，并努力量化人工智能系统的性能、普适性和自主性等属性。对这些概念的共享可操作定义将支持：模型之间的比较；风险评估和缓解策略；政策制定者和监管者的明确标准；为研究和开发确定目标、预测和风险；以及理解和传达我们在通往AGI的道路上的进展。

了解更多：《AGI的历史、未来趋势以及应用、问题》

定义 AGI ：案例研究

在文章中介绍了关于人工智能通用智能（AGI）定义的九个主要案例，并分析了它们的优势和局限性。这些案例包括图灵测试，强人工智能（拥有意识的系统），对人脑的类比，在认知任务上达到人类水平，学习任务的能力，经济价值的体现，灵活和通用性，人工可行智能，以及最新的语言模型（LLMs）是否可以被视为通用智能。

作者指出，AGI 的定义应该侧重于能力而非过程，强调了通用性和性能的结合。不同的定义侧重点不同，但都提出了衡量 AGI 的挑战，例如确定哪些任务是通用智能的关键，以及如何在性能和灵活性之间取得平衡。

关于人工智能通用智能（AGI）定义的九个重要案例方向：

• 图灵测试： 一个早期尝试将 AGI 概念具体化的方法，但因为现代语言模型（LLMs）能够通过该测试，因此被认为不足以评估 AGI。
• 强人工智能（拥有意识的系统）：强人工智能理论认为计算机可以具有意识，但目前尚无科学共识确定机器是否真的拥有意识。
• 对人脑的类比：最早将 AGI 定义为能够媲美或超越人脑复杂性和速度的系统，但现代机器学习系统的成功表明，严格基于人脑过程的定义不再是必需的。
• 在认知任务上达到人类水平： 将 AGI 定义为能够执行人类通常可以完成的认知任务，但这种定义存在模糊性，例如“什么任务？”和“哪些人？”。
• 学习任务的能力：将 AGI 定义为能够学习广泛任务，包括元认知任务，强调了包括学习在内的能力。
• 经济价值的体现： OpenAI 的定义将 AGI 看作在大多数经济有价值的工作上优于人类的高度自治系统，但这种定义未能涵盖所有与智能相关的特性。
• 灵活和通用性：AGI 被定义为灵活和通用的智能，能够执行各种任务，但确定哪些任务是关键的以及如何界定通用性仍然是挑战。
• 人工可行智能： 提出了“人工可行智能（ACI）”的概念，强调了执行复杂、多步骤任务的性能，但可能引入了与目标不一致的风险。
• SOTA LLMs as Generalists：某些人认为，现代的语言模型（LLMs）已经达到了通用智能的水平，因为它们可以处理各种任务，但这种看法可能忽略了性能的问题。

这些定义表明，AGI 的界定不仅仅是关于能力，还涉及到任务的性质、通用性、灵活性和性能等多个方面的平衡。不同的定义在强调的方面不同，但都指出了在确定 AGI 性质时需要解决的复杂问题。

定义 AGI：六个原则

通过 9 个关于 AGI 相关概念后，我们确定这些定义中的属性和共性，这些属性和共性为一个明确、可操作的 AGI 定义做出了贡献。现在可以认为任何 AGI 的定义都应该符合以下六个原则：

• 关注能力，而非过程：大多数定义关注AGI可以完成什么任务，而不关注它是通过何种机制完成任务的。这对于识别不一定是实现AGI的先决条件但可能是有趣的研究课题的特征非常重要。
• 关注广泛性和性能：所有上述定义都强调了广泛性，但有些定义排除了性能标准。我们认为广泛性和性能都是AGI的关键组成部分。
• 关注认知和元认知任务：是否将机器人实体化作为 AGI 的标准是一个争议性问题。大多数定义关注认知任务，即非物理任务。尽管在机器人技术方面取得了最新进展，但AI系统的物理能力似乎落后于非物理能力。执行物理任务的能力增加了系统的广泛性，但不应被视为实现AGI的必要先决条件。另一方面，元认知能力（比如学习新任务的能力或者知道何时向人类寻求澄清或帮助的能力）是系统实现广泛性的关键前提条件。
• 关注潜力，而非部署：证明一个系统能够以特定性能完成广泛任务的具体验证不是 AGI 的定义的一部分。作为代替，作者提出了一个系统的潜在能力，即该系统有能力以人类水平完成广泛任务，即使它在大多数任务上的性能低于人类。
• 关注自主性：几乎所有定义都包括自主性，但没有提供明确的定义。作者认为自主性是指系统能够独立决策和执行行动的能力，而不需要外部干预。
• 关注持久性：AGI 系统的能力不应该是暂时的或瞬时的，而应该是持久的。

AGI 等级划分

基于性能和广泛性，可以将 AGI 划分为不同的级别。这种分类系统考虑了AI 系统在特定任务上的性能，同时也考虑了它的广泛性。以下是作者提出的 AGI 级别分类：

• Level 0 — 无人工智能（Narrow Non-AI）：只能完成明确定义的任务，比如计算器软件或编译器。
• Level 1 — 初现（Emerging AGI）：性能相当于或略优于一个不熟练的人类。比如一些前沿语言模型在某些任务上已经达到了初现AGI的水平。
• Level 2 — 熟练（Competent AGI）：至少能够在大多数任务上达到熟练人类的水平。目前的前沿语言模型在某些任务上已经接近熟练AGI的水平。
• Level 3 — 专家（Expert AGI）：在大多数任务上能够达到专家人类的水平。
• Level 4 — 大师（Virtuoso AGI）：在大多数任务上能够达到顶尖人类的水平。
• Level 5 — 超越人类（Superhuman AGI）：在所有任务上都能超过 100% 的人类。

这种分类方式能够使我们更好地了解不同 AI 系统的性能和广泛性，也为我们在 AGI 领域的未来研究提供了方向。考虑到这种级别制度，我们可以更好地规划和评估通用人工智能的发展，为其应用和安全性提供更明确的指导。

AGI 评估

要评估一个系统是否符合 AGI 的定义，可以使用以下指南：

• 广泛性和性能：系统应该在广泛性和性能上至少与人类一样优秀。广泛性涉及到多个领域的任务，包括认知和元认知任务。性能指的是系统在这些任务上的表现，通常用准确性、速度、效率等指标来衡量。
• 自主性：系统应该能够独立决策和执行行动，而不需要外部干预。这包括对新任务的自主学习和适应能力，以及在不断变化的环境中持续运行的能力。
• 持久性：系统的能力应该是持久的，而不是暂时的。这意味着系统应该能够在不断学习和改进的同时，保持其广泛性和性能。
• 递归性自我改进：AGI系统应该具有递归性自我改进的能力，即能够不断改进自身的性能和能力。
• 任务自主选择：系统应该能够选择执行哪些任务，而不是被预先编程或限制在特定领域内。
• 目标驱动：系统应该能够设定和追求特定目标，而不仅仅是执行预定任务。

详细内容需参照，论文中 Testing for AGI 章节。

挑战与展望

明确定义 AGI 是一个重要的步骤，但实现 AGI 仍然面临许多挑战。其中一些挑战包括：

• 认知科学和神经科学的理解：我们仍然对人类智能和认知的本质知之甚少。要实现AGI，我们需要更深入地理解大脑和认知过程。
• 算法和模型的发展：现有的机器学习算法和模型在某些任务上表现出色，但在实现广泛性和自主性方面仍然存在限制。研究人员需要不断改进现有算法，探索新的方法。
• 伦理和安全问题：AGI的发展引发了许多伦理和安全问题，包括权力集中、意识问题、人工智能武器的使用等。我们需要制定相关政策和规范，确保AGI的发展不会带来负面影响。
• 社会接受度：人工智能技术的广泛应用已经引起了社会的关注和担忧。实现AGI可能会引发更多的社会担忧，因此我们需要积极与社会各界沟通，增加公众的理解和接受度。

尽管面临重重挑战，但实现 AGI 的前景依然令人兴奋不已。AGI 的实现将彻底改变我们的社会、经济和文化，为人类带来巨大的机遇和挑战。

本篇文章为《Levels of AGI: Operationalizing Progress on the Path to AGI》 精读以及对内容的理解，可能与原始内容有一些出入。

引用

https://arxiv.org/pdf/2311.02462.pdf