机器人时代的 Android：具身智能计算系统 | 新程序员

具身智能计算系统的内核为不同形态的机器人提供了感知、认知和行动的基础能力，还允许开发者在此基础上构建更加复杂和多样化的机器人应用。通过这样的系统，机器人能够更好地理解和互动于其所处的物理世界中，从而实现更加自然和高效的服务与协作。总而言之，具身智能计算系统的内核驱动了多样化机器人应用生态的发展，而具身智能计算应用生态进一步促进了自主经济的爆发。

自主经济是什么

自主经济（the Autonomy Economy）标志着社会转型的新阶段，主要由各式机器人（比如自动驾驶汽车、配送机器人和无人机）与商品及服务的融合驱动。这场经济变革的核心在于机器人计算 (Autonomous Machine Computing)，即为这些多样化机器人提供支持的关键计算技术[1]。

自主机器的出现预示着数字经济模式的演变[2]。这些机器最开始只用于简单的机器人技术和工业应用，现在却已经深入我们的日常生活，宣告着自主经济时代的到来。举例来说，中国的一些酒店已经投入使用送餐机器人，将所需物品送至住客的房间。而在订购食品和生活用品送达上，某些城市已经出现了机器人将餐食或商品直接送至用户家门口的景象。在家庭环境中，机器人吸尘器更是成了家庭常备电器。

AIGC 生成图片

为了赋能自主经济的大爆发，当前我们的重要工作在于设计并实现先进的具身智能计算系统，为不同形态的机器人提供脑力，类似于移动互联网时代 Android 系统对多种移动设备的赋能。正如智能手机时代 Android 系统重塑市场软件生态一样，对具身智能机器人软硬件系统的研究与开发，将引领机器人领域的重大变革，也将为机器人时代开启新的篇章。

具身智能是什么？

具身智能（Embodied AI）是一种全新的人工智能理念，它区别于传统人工智能的观念，主张智能的产生不仅依赖算法和算力，还需要通过与实际世界的互动来实现。这意味着，智能体（例如机器人）需要具备感知环境、执行物理操作和与环境互动的能力，以便更全面地理解和掌握世界知识。

同样的一套具身智能系统可以赋能不同的机器人形态，使它们能够直接与周围环境互动和感知的智能形式。这种智能不仅涉及到算法和数据处理，还包括对物理世界的理解和操作。具身智能计算系统的技术挑战主要包括如何使机器人能够准确地感知环境、理解复杂的人类指令以及在多变的环境中自主作出决策和执行任务。此外，如何优化机器人的能量效率、处理速度和安全性也是重要的技术挑战。

具身智能研究跨越了机器人学、人工智能、认知科学及神经科学等多个学科，旨在深化对智能本质的理解。具身智能的挑战在于如何构建高度适应性的感知和决策系统，使机器人能够准确理解和预测物理世界的复杂动态，并确保机器人能以自然有效的方式与人类及其他智能体交互。解决这些挑战有望将智能机器人应用推向家庭、工业、医疗和探索等多个领域，促进人机交互的自然化和任务执行的效率化。

历史启示——良性循环以及生态的重要性

机器人计算成为自主经济转型的关键，继个人计算与移动计算之后，它成为了机器人时代不可或缺的技术核心[3, 4]。机器人计算支撑着从智能汽车、自主无人机、配送机器人、家用服务机器人到农业、工业机器人等多种形态的机器人，甚至包括我们还未能想象到的机器人类型。它涵盖了传感技术、计算技术、通信技术、自主控制算法、可靠性和安全性等多个技术领域，至今仍在持续发展与演化中。

如图 2 所示，在生态系统增长中，算力分配扮演了决定性角色，特别是在移动计算行业的演变中尤为明显。21 世纪初期，以功能手机为主流的移动电话虽广泛普及，但功能受限，90% 的计算力被用于执行编解码等基础通讯任务。应用程序可用的计算力不足 10%，这极大限制了应用多样性，使得移动计算生态系统的市场规模仅约 100 亿美元。

智能手机的兴起改变了这一格局，激发了市场对更高计算能力的需求，以适应和支持日益增多且复杂度不断提升的移动应用。这种需求催生了从基础的单芯片系统到复杂的片上系统（SoC）的进化，这些系统集成了多核心 CPU、移动 GPU、移动 DSP 以及先进的电源管理系统。技术的这一飞跃使得高达 90% 的计算能力能够支持 YouTube、WhatsApp、Uber 等应用，将移动计算生态系统的市场规模扩张至现今的 8,000 亿美元。这一发展轨迹凸显了计算系统技术进步的革命性影响。通过支持更多样化的应用，这些技术不仅增强了现有市场，还开辟了新的生态系统，使得市场规模达到了计算系统行业价值的多倍。

目前，家庭扫地机器人、服务机器人和无人驾驶车辆的计算系统，通过环境感知、自身定位和建图、决策、路径规划和控制软件已实现了自主移动等功能。图 3 展示了一种具身机器人系统，其与传统机器人计算类似，也需要地图、决策控制、导航和运动控制等模块。

那么，相比于传统的机器人计算系统，具身智能计算系统的核心不同之处是什么，它为什么可以直接接收人类的文字指令表示的任务，并在不需要提前为任务编程的情况下进行灵活和自主的决策？我们认为，构建具身智能计算的关键在于打造能够融合多模态信息的世界模型，以及能够承载此类多模态模型与具身软件的实时高效的计算系统。

• 多模态的世界模型：世界模型是赋能具身智能的最关键软件。

  按照 M. Mitchell 等人在《科学》杂志的表述[5]，世界模型“构建针对物理世界和社会世界的抽象模型，并反映事件发生的原因而非仅仅是事件之间的相关性”。借助世界模型，机器人将能够理解物理世界和人类社会的运行机制，并据此产生自主、灵活、可信、有益的决策。

  DeepMind 的 RT 系列模型[6]是构建世界模型的一次初步尝试：通过多模态大模型处理自然语言和视觉图像，机器人能够将命令中的信息与物理世界的物体关联，还能命令拆分成多个子任务，并逐个执行。

• 实时高效的计算系统：在一定成本范围内，能够高效、实时地完成传感、计算和控制任务的计算系统是具身智能机器人大规模应用的关键。

  相比于传统机器人计算系统，多模态大模型等软件对计算平台的算力、存储和通信的需求成倍增加，具身智能计算平台的设计充满挑战。目前具身机器人研究中常用的计算架构是在云端或边缘服务器端运行多模态大模型，在机器人端运行传感和控制执行等任务。这类方案仍处于实验室演示阶段，仍需要大量的系统方面的研究和优化，才能实现规模化的部署。

在具身智能计算系统的基础上，多模态大模型支持的智能体智能（Agent AI）是具身智能应用生态的关键技术[7]。 这些具身智能 APP 将成为我们日常生活中无处不在的存在。

具身智能计算系统利用现有的基础模型（Foundation Model）作为创建 APP 的基本构件。将 APP 嵌入到具身智能计算系统中有助于提高机器人本体处理、理解世界信息，以及与世界互动的能力。例如，一个能够感知用户行为、人类行为、环境物体、音频表达和场景的集体情绪的 APP，可赋能机器人本体作为人类的陪伴机器人。如果说工具是人类智能的延申，那么智能体就是人工智能的延申。而人工智能本身就是人类的工具，因此智能体智能的发展将为人类提供有史以来最强大的智能工具。

为了推进具身智能 APP 的研究与应用，我们在智能体的智能方向开展了多项研究，成功开发了三类智能体（框架）。这些智能体将为机器人提供更强大的感知、学习、决策和行动能力，推动机器人技术与行业需求的深度融合。

• 规划智能体 AIRS-Bot（见图 4）。借助多模态大模型能力，该智能体可以与人类进行自然语言交互、通过图像感知环境、基于文字生成图像、以及以用户定制的语音进行交互。该智能体能够通过系统 prompt 扮演任意角色，并支持多种形式的 API 调用，可以为机器人提供行为规划与决策能力，满足机器人具身智能的功能实现。

• 编程智能体 AIRS-Coder（见图 5）。该智能体的能力包括诊断错误，优化代码，提供详细的编程概念解释，并提供各种编程语言和技术的步骤指导。该智能体在 7B 大小的大模型基础上，在 HumanEval 指标上 pass@1 性能达到 43.4%，超过了 CodeLlama-Python-13B 的 43.3%，用更少的参数获得了更好的性能。该智能体可以为机器人提供自主编程能力，满足机器人的自主复杂操作技能需求。

• 群智智能体框架 AIRS-Agents（见图 6）。该智能体框架支持定义多个不同类型的机器人智能体以及它们的规划智能体，将它们构成智能体集群并进行统一的调度规划。不同智能体可以调用不同软件 APP 处理各自领域内的问题，也可以编程并在沙盒中执行代码。该智能体可以为机器人集群提供群体智能，实现大范围的机器人具身智能。

智能体是具身智能 APP 的实例，其出现和发展开启了从人工操作软件 APP 到智能体自行调用软件 APP 的时代，并在这一过程中推动了具身智能的进程。随着技术进步，我们相信会有更多的智能体构成庞大的具身智能 APP 群，进一步引发智能体调用软件 APP 到机器人调用具身智能 APP 的范式转变。

具身智能被视为人工智能赋能于机器人的重要技术，可以将机器人从传统的预编程模式解放出来，赋予机器人更强的自主性和适应能力。具身智能的计算和应用将推动机器人技术与生产制造、服务和医疗康复等行业的深度融合，成为经济和社会发展的重要推动因素。我们将具身智能计算系统类比为智能机器人领域的 Android 系统，在底层实时计算平台、世界大模型的基础上，延伸出诸多基于机器人的应用。具身智能技术刚刚兴起，在具身软件与应用、多模态世界模型、实时计算系统等方面面临着挑战。这些领域也将是学术和产业界研究的热点。

参考文献

[1] S. Liu, "The Role of Autonomous Machine Computing in Shaping the Autonomy Economy.", Communications of the ACM, https://cacm.acm.org/blogs/blog-cacm/279636-the-role-of-autonomous-machine-computing-in-shaping-the-autonomy-economy/fulltext

[2] S. Liu, "The Transition to the Autonomy Economy and China-US Tech Competition", the Diplomat, 2023.

[3] S. Liu, J.L., Gaudiot,"Rise of the autonomous machines." Computer, 55(1), pp.64-73, 2022.

[4] 刘少山，甘一鸣，韩银和，"机器人计算正在崛起：中国美国实力全面对比", 知识分子, 2024.

[5] M. Mitchell, "AI's challenge of understanding the world". Science 382, eadm8175, 2023. DOI:10.1126/science.adm8175.

[6] A. Brohan, et al., "Rt-2: Vision-language-action models transfer web knowledge to robotic control." arXiv preprint arXiv:2307.15818, 2023.

[7] Z. Durante, et al., "Agent ai: Surveying the horizons of multimodal interaction." arXiv preprint arXiv:2401.03568, 2024.