机器之心报道
编辑:泽南、杜伟
一夜之间,AI 智能体学会操纵手机了。
「太可怕了。」
在直播间里,赵明向周鸿祎现场展示了真正的技术,找 AI 智能体整点咖啡:
只需要拿起手机说:「点三杯瑞幸的美式咖啡,大杯。」
手机内的 AI 智能体在明确需求后,就会自动阅读理解手机屏幕上的内容,自动操作手机上的美团 APP,无需传统语音助手的多轮次对话,你只需要最后点击下单付钱的按钮就行了。
视频连线还可以做到 AI 换脸检测:
不论是 Deepfake 还是其他的 AI 换脸技术,手机都能用端侧的算法识别出来并发出警告。
这就是新一代 AI 手机的打开方式吗?看得出来,智能体自动办事的流程既方便,又透明可见:你可以看到手机能够像人一样,打开 APP 读取画面,点击操作的全过程,只有最后的「确认」按钮需要你自己来完成。
10 月 23 日下午,荣耀正式发布了新一代操作系统 MagicOS 9.0,这一系列新功能正式宣告上线,不出意外的话,月底就能和我们见面了。
在发布会上,荣耀宣布 MagicOS 9.0 是业内首个搭载智能体的个人化全场景 AI 操作系统。它带来的全新体验,让智能终端真正进入到了「自动驾驶」时代。
距离联发科和高通的发布过去不远,新一代旗舰手机即将发布的当口,荣耀已经率先出手,掀起了一波影响力覆盖面巨大的技术变革,让我们洞见了下一代操作的未来。
魔法大模型家族,驱动平台级 AI 再进化
不仅在移动设备领域,进入 2024 年,AI 和大模型的风向已经出现了一些肉眼可见的变化。
先是大模型的体量由大向小。不论是 OpenAI、谷歌这样的行业领导者,还是 Mistral、智谱等创业公司,纷纷在千亿级大模型之外开辟了「小模型」的战场。人们希望通过不断优化提升效率,大幅降低生成式 AI 的应用门槛。
而不断缩小体型,甚至已经进入端侧的轻量级大模型,却依然实力不减,经过快速迭代,纷纷呈现出多模态、长文本的能力。
荣耀 MagicOS 9.0 全新 AI 智能体交互范式的背后,就有这样的新一代模型作为支撑。
随着新一代系统的问世,荣耀新一代端侧、云侧大模型矩阵浮出水面。在 MagicOS 9.0 上,荣耀一口气落地了语言大模型、图像大模型、语音大模型、多模态大模型等一系列大模型组成的家族矩阵。
全新升级的端侧语言大模型 Nano(3B),相较于 MagicOS 8.0 部署的 7B 魔法大模型,因为模型「瘦身」,带来了更快的加载速度(提升 77%)和出词速度(提升 500%),并在功耗、ROM 和 RAM 占用等影响手机日常运行的多个方面都得到了优化。
还有多模态大模型,在包括图像、语音在内的多模态应用场景提供了更强的动力。其中,图像大模型在图像语义理解和图像内容生成方面均有质的提升,语音大模型则实现了超流畅的人机自然对话、更逼真的音色克隆和稳定准确的实时互译。
它们是 AI 手机智能体实现「自动驾驶」的前置条件:多模态大模型已让手机具备了 UI 语义理解、屏幕内容解析和行为语义理解能力。
伴随端云协同的魔法大模型家族基础能力的全方位提升,MagicOS 在个人化理解、多任务规划、海量知识理解、文本内容生成等场景中更加得心应手。
横向来看,在 MagicOS 9.0 上,AI 场景感知的类别已经由上一代的 40 类增加到了 60 类,用户理解类别由 600 项提升到了 950 项,意图决策覆盖场景更是由 100 个飙升到了 600 个。
可以说,在拥有这一套大模型矩阵之后,荣耀才能构建起以人为中心的手机交互逻辑,在场景感知、用户理解和意图决策等方面获得质的飞跃。
当然,在拥有了强大的大模型家族之后,更重要的是如何来使用它。荣耀大模型家族矩阵的重心并不是为了简单的端侧生成,或服务于特定应用,而是为了赋能平台级 AI。
在 MagicOS 9.0 中,魔法大模型家族加持的平台级 AI 覆盖多样化的场景,横跨各个 APP 和手机能力,可在更多应用场景中实现按需调度、灵活调配,并在端侧构建起多维度的个人知识库。
举个例子,MagicOS 9.0 基于荣耀 AI 智能体可以实现「一句话取消自动续费」:
你只需要对手机发出一句话的询问,智能体就自动开始查阅支付宝、微信等应用,很快你就能对手机、平板等电子设备上 APP 买的会员了如指掌,避免在不了解的情况下一直续订,已经订阅的也可以一键取消。
平台级的 AI 不仅意味着打通应用的壁垒,让手机融为一体,也意味着让手机可以理解人、赋能人、强化人。
荣耀 Magic Live 智慧引擎通过融合基于个人行为的多维数据、个人记忆推理式图谱和个人画像的知识索引,可以在手机端侧构建起多维度的个人知识库。这样,在保证用户隐私的前提下,手机可以真正理解使用者,一系列更深入的意图理解和个性化的复杂场景服务就能得以实现了。
值得一提的是,荣耀 MagicOS 9.0 的大模型能力已获得信通院认证的「最强 AI 大模型能力」评级。
此外,荣耀还积极投入到整个行业 AI 智能体标准制定的相关工作中,作为核心贡献者,联合国家机构中国信通院制定了 AI 时代下终端智能化分级体系,这个分级体系得到了所有手机⼚商的⼀致认可。
在汽车领域,自动驾驶被分为 Level 0 到 Level 5。而首发搭载 MagicOS 9.0 的荣耀 Magic7 系列通过《终端智能化分级测试方案》评估,终端智能化水平达到行业目前最高等级 L3,放在自动驾驶汽车领域来看的话,这就相当于今年底将要落地的端到端城市自动驾驶系统的水平。
几乎任何路况,都能「自动驾驶」了。
AI 手机的智能体革命
从荣耀平台级 AI 的尝试中我们可以看出,想要实现 AI 智能体的高 Level 自动化,绝不仅仅是「把大模型塞进手机」。
是什么让 MagicOS 发展成今天这样?回看荣耀 Magic 手机的发展历程,我们可以整理出两条线。
首先是对手机 AI 形态的长期探索。荣耀自 2016 年推出初代 Magic 手机时就率先提出了手机 AI 的概念。到去年 6 月,又率先提出把 AI 大模型引入手机端侧的战略,今年 1 月,伴随荣耀 MagicOS 8.0 的发布,通过平台级 AI 使能的意图识别方式,智能手机的人机交互进入了新的阶段。
在 MagicOS 8.0 操作系统上,荣耀引入大模型技术,构建平台级 AI 实现了意图识别,进而带来了任意门、灵动胶囊等一系列功能,大幅提升了用户体验。
在这背后,是荣耀面向未来 AI 时代的深层次思考:体验的进一步提升,需要利用 AI 技术对系统进行重构。荣耀把过去各自独立的 APP、菜单形的订阅模式,以平台级 AI 为核心连接在了一起。
至此,各应用之间的藩篱被打破,人机交互的步骤被大幅简化。这一切改变的原因,是以平台级 AI 为核心,构建以人为中心的操作系统。
智能体的发展,是 AI 大模型能力落地的主线。自大模型技术爆发后,多模态、多任务、多领域的大模型被认为是通向 AGI 的必经之路。在人们的设想中,人与 AI 的交互会覆盖语音、文字、图片等各种方式,由大模型驱动的 AI 手机也需要能够充分理解人类意图,根据环境、个人喜好、环境等信息迅速制定出可用计划,进而自动帮人完成各类任务。
智能体(AI Agent)就是用来执行这样复杂的任务的。它基于大模型的能力,既具有自主性,又能进行环境交互,可以分解复杂任务进行规划,使用专业的模型或外部工具来提升自身能力,还拥有远超大模型本身的记忆能力。
这意味着在切入智能体方向后,手机这样的设备可以利用相对轻量级的模型,承载起更加复杂的智能化任务。与此同时,设备在与人的日常高频率互动中可以不断积累背景理解,这是以往基于云端大模型的应用和服务所不能做到的。
在荣耀 MagicOS 9.0 上,这两条线终于汇合到了一起。基于大模型能力的底座,平台级 AI 拥有了感知环境、学习使用者行为的能力。再通过智能体的应用,手机可以在理解用户的前提下调用不同的 APP 来实现复杂的功能,展现出多样化的能力。
现在,手机 OS 可以帮助用户去完成一系列想做但不会做,会做但不想做的事情,比如点咖啡、取消自动扣费、AI 换脸检测等,通过 AI 智能体就能自动完成。
如果把目光看向更远,手机厂商智能体化的思路与科技公司也是不谋而合。
今年,各家大厂纷纷提出了基于智能体的应用。微软率先发布了 Copilot,苹果将 OpenAI 大模型接入了 Apple Intelligence ,扎克伯格更是断言:「AI 智能体的数量可能会达到数十亿,最终甚至超过人类。」
在 9 月底的 Meta Connect 2024 大会上,Meta 推出了接入 Llama 3.2 的智能眼镜 Orion 和升级版 Quest 3S,通过智能体的方式,把大模型迅速引入 Meta 旗下的各个应用和设备。
就在本周一,微软正式推出了 10 种 AI 智能体。这些智能体可以包揽销售、客服、财务、供应链管理的工作,无需人工干预就可以执行各种任务。
图片来自:https://twitter.com/satyanadella/status/1848310867709862137
微软 CEO 萨提亚・纳德拉表示,智能体接管繁重任务之后,人们可以腾出时间来执行更有价值的任务,生产力就这样提高了。
同样是在这个时间点,在生成式 AI 下半场,荣耀是第一个发力 AI 智能体的手机厂商。MagicOS 9.0 推出之后,在智能手机上,我们也能很快体验一把效率升级。
AI 手机,还得看荣耀
今天,传统的 OS 已经固化,无论是安卓还是 iOS 的演进几乎走到了瓶颈,消费者已经不再关心手头的设备是安卓 15 还是 iOS 18,而是关注 AI 时代中,终端能给我们带来什么样的跨越体验。
上周末,内部员工称苹果 AI 技术「至少落后两年」的消息被曝出,成为了热议的话题。
据称,苹果内部的研究表明,其即将推出的人工智能功能缺乏对谷歌、OpenAI 和 Meta 等对手的竞争力。苹果 CEO 蒂姆・库克还一度站出来回应。
有落后者,自然就有领先者。相比之下,荣耀 MagicOS 对于下一代操作系统的思考和构建,已经处于领跑者的姿态。
荣耀列出了一份数据:在 MagicOS 8.0 版本推出以后,在过去近十个月时间里,仅「任意门」这个功能的意图识别累积次数,就已经超过了 16.8 亿次。此外像灵动胶囊、YOYO 建议、智慧成片、多日程管理等特性,也在被很多手机厂商陆续跟进。
在 MagicOS 9.0 上,有了平台级 AI 和系统级 AI 智能体的落地,荣耀正在与全球合作伙伴共同努力,以开放的姿态拥抱人机交互的变革。手机上越来越多的功能,将会被 AI 大模型来驱动,更多的可能性将会出现。
10 月 30 日,首发搭载 MagicOS 9.0 的新一代旗舰手机 Magic7 系列就将发布,它将搭载最新一代旗舰芯片骁龙 8 至尊版。
赵明已宣布,在新手机上,除了 AI 智能体的引入之外,影像和游戏也将首次搭载生成式 AI 能力。还有更多黑科技即将公布。
AI 手机的新篇章,未来操作系统的新发展,将由以荣耀为代表的中国科技企业亲手打开。