OpenAI最新发布的GPT-4o模型是迈向更自然的人机交互的一步，232毫秒可响应音频输入

文｜ 邓思邈

编辑 | 郭丽琴

既不是GPT-5，也不是传闻中的搜索引擎，这次OpenAI于北京时间5月14日凌晨在春季更新活动上带来了GPT-4o，声称该模型可以对语音、图像和文本进行实时推理和交互。用OpenAI联合创始人兼CEO萨姆·奥尔特曼的话来说“就像魔法一样”。

GPT-4o在视觉和音频理解方面表现得较为突出。OpenAI官方介绍称，GPT-4o中的“o”指代“omni”，而“omni”在英语词缀中指代“总、全部、所有”，意为“全能”的意思。GPT-4o是迈向更自然的人机交互的一步——它可以将文本、音频和图像的任意组合作为输入和输出，并在短至232毫秒（平均320毫秒）的时间内对音频输入做出反应，与人类对话的响应时间类似。

OpenAI首席技术官Mira Murati

OpenAI还在社交媒体上宣布，GPT-4o从当日（5月14日）起向所有用户免费开放使用，对付费订阅的Plus用户的消息发送限制是免费用户的5倍。并称在接下来的几周内，将向Plus用户提供最新演示的语音和视觉交互功能。

全程看完发布会，直观感受是“好厉害”。北京居民樊女士之前经常用ChatGPT的GPT-3.5语音功能练口语，对她来说比较大的问题是GPT-3.5的回复没有那么自然，AI味比较重，好处是可以通过ChatGPT的回复修正一下自己的口语的问题。她说，“GPT-4o我还没好好试用，简单用文字问了几个问题，感觉会更有‘情商’了，比如一些回复会带感叹号。和他对话的反应也会更自然更像真人，对于我练口语帮助会比较大，因为你需要在一个自然的交流的语境下才能更好地锻炼自己的口语。”

达到人类的反应时间和表达能力

发布会结束后，奥尔特曼在其个人博客上强调了两点：第一，OpenAI的使命是将非常强大的AI工具免费提供给人们使用，OpenAI已经在ChatGPT中免费提供了世界上最好的AI模型，没有广告或类似的东西；第二，GPT-4o新的语音（和视频）模式是他使用过的最好的计算机界面，感觉就像电影里的AI一样，它的真实性还是让他有点吃惊，达到人类水平的反应时间和表达能力是一个很大的变化。

另外，奥尔特曼在其个人社交平台上提到了《她》这部电影，一位网友在奥尔特曼该条推文底下评论称“GPT-4o让他想到了《她》”。据相关资料介绍，《她》讲述了人与AI相爱的科幻故事，其中的AI萨曼莎拥有迷人的声线，温柔体贴又幽默风趣，高度人性化。

奥尔特曼的个人社交媒体

那么GPT-4o具体表现如何？在发布会现场，OpenAI三位工作人员为大家进行了demo演示，其中包括首席技术官Mira Murati、研究负责人Mark Chen、后训练主管Barret Zoph。

语音功能：理想的AI语音助手

首先展示的是实时语音对话。

Mark对着手机里的ChatGPT（由于现场演示常常使用ChatGPT指代最新发布的产品，从此处开始，下文里提到的“ChatGPT”均特指“GPT-4o”），问道：“我现在就在台上。我正在做现场演示，坦白说，我有点紧张。你能帮我放松一下吗？”

ChatGPT回答：“你现在在做现场演示吗？太棒了！做一下深呼吸吧，记住你是个专家！”

紧接着，Mark说“我试着深呼吸几次。你能对我的呼吸作出反馈吗？”然后Mark用力大喘气了几次。

ChatGPT听了后马上说：“马克慢点呼吸，你不是吸尘器啊！”

Mark在现场演示中总结，在和GPT-4o模型互动过程中，不必等到它说完，你可以随时打断它说话；并且模型是实时响应的，这意味着在等待模型给出反应之前，不会有2到3秒的延迟。除此之外，Mark说，该模型能够注意到人的情绪——在你呼吸非常困难的时候，它会说你可能需要冷静一点。

其次是讲睡前故事，并且声音能够按照你的需求，任意变换成不同的情感风格。

Mark对ChatGPT说，“我的朋友Barret，他最近睡眠有点问题，我想让你给他讲一个睡前故事，关于恋爱中的机器人”。

ChatGPT听后马上开始讲述，语气比较平淡：“在很久以前的一个世界里，这个世界和我们的世界没有太大不同。有一个叫byte的机器人，是一个对外界非常好奇的机器人。”

Mark似乎对它的讲述不太满意，马上打断说：“我想让你的声音多一点感情，多一点戏剧性”。

ChatGPT说：“明白！咱们来点戏剧性”。随后在语气和语调上添了几分感情，把以上的内容重述了一遍。但话还没说完，又被Barret打断了，“我想要最大程度的情感，比你之前所表达的更多”。后面ChatGPT就像改头换面了一样，在话语中倾注更多感情，朗读了起来。

话还没说完，Mira又打断，要求ChatGPT用机器人的声音说话，它按照指令照做，换成了冷冰冰的、不带任何感情的语调。在此之后，Mark要求它用唱歌的方式结束这段故事，ChatGPT也能搞定。

视觉功能：生活与工作的好帮手

除了用语音进行交互，用户还能通过视频（即图像）的方式与ChatGPT交流。

比如ChatGPT能充当用户的老师，一步一步实时教你解数学方程等式。

还没开始算，ChatGPT就说了句：“哎呀，我太兴奋了！你准备好了我就准备好了。”

伴随着Barret在白纸上写下：3x+1=4，ChatGPT能够读懂，并给予相应提示和反馈，教人类如何进行计算，在时间上没有出现延迟。

当人类问它为什么要学习解方程时，ChatGPT回应称：“线性方程出现在很多日常情况中，我们没有意识到这一点。例如，计算开支、规划旅行、烹饪，甚至在商业中需要计算盈亏，这是一种解决问题的方法。我们需要找到一个未知变量……”

当人类在纸上写下：“我爱ChatGPT”时，它不仅能看懂，还回应表示“你真是太好了！”

面对代码难题，ChatGPT也不在话下。

如图所示，人类要求它对图中的代码进行简短描述。ChatGPT马上回答：“该代码获取了特定位置和时间段的每日天气数据，使用滚动平均值平滑温度数据，在结果图上注释了重要的天气事件，然后显示该图一年中的平均、最低和最高温度”。

哪怕是针对画面中特定的问题进行语音提问，ChatGPT也能胜任。例如，现场嘉宾提问“在代码中有一个foo函数。你能给我描述一下如果我没有这个功能，情节会是什么样吗？”ChatGPT随后也不假思索作出了回复。

紧接着，ChatGPT还被要求看图说话，并回答用户问题。

OpenAI活动现场，要求ChatGPT看图说话

ChatGPT对画面中的图表进行阐释称：“该图显示了2018年全年的平均温度、最低温度和最高温度，并有一个显著的注释，标志了9月下旬的大降雨事件。”

当被问到“最高温度出现在哪几个月？它们大致对应的温度是多少？”ChatGPT准确无误回答道：“最高温度出现在7月和8月左右。这几个月的最高气温大致在25℃到30℃之间”。

这次推出的最实用的功能之一，莫过于实时翻译。

发布会现场，ChatGPT在不同文化之间搭建起了一座沟通桥梁——被要求当听到意大利语时，将它翻译成英语，当听到英语时，则将它翻译成意大利语，ChatGPT在现场翻译表现得比较流利，没有出现错误，很像地道的母语使用者。

最后一个，则是模型能够通过人脸表情识别情绪。

Barret对着手机说，“这是我。你认为是什么样的情绪？”ChatGPT好像翻车了，回答：“我好像在看一张木质表面的图片。”

OpenAI发布会现场，要求ChatGPT识别人脸情绪

Barret试图救场，对它说：“什么？那是我之前发给你的东西。别担心。我其实不是桌子。所以你再看一眼？”ChatGPT这回看出来了：“看起来你非常高兴和愉快，带着灿烂的笑容，甚至可能是一丝兴奋。不管发生了什么，你心情看起来很好。”

GPT-4o的强大之处还有什么？

外观设计上，OpenAI这次推出了新的UI设计。

来自OpenAI官网

在GPT-4o推出之前，人们可以使用语音模式与ChatGPT-3.5和GPT-4模型对话。但平均延迟时间为2.8秒（GPT-3.5）和5.4秒（GPT-4）。而新发布的GPT-4o模型平均320毫秒（即0.32秒）就能做出实时响应。

来自OpenAI官网

OpenAI官网介绍称，在此之前，为了实现语音模式，处理流程如下：需要一个简单模型先将音频转换为文本，然后再由GPT-3.5或GPT-4模型接收文本并输出文本，最后是第三个简单模型将文本再转换回音频——这个过程意味着GPT-4模型失去了很多信息，它不能直接观察说话人的语调、同时应对多个说话者或背景噪音，也不能向外输出笑声、唱歌或表达情感。

相比之下，GPT-4o是单一的端到端的跨文本、视觉和音频训练的新模型，这意味着所有的输入和输出都由同一个神经网络来处理。

GPT-4o在英语文本和编程代码方面的表现与GPT-4 Turbo模型相当，在非英语语言的文本上有显著的改进，同时在API（应用程序编程接口）上速度提高一倍，并且便宜50%，单位时间调用次数是原来的5倍。与现有模型相比，GPT-4o在视觉和音频理解方面表现得尤为突出。这里的“GPT-4 Turbo”指OpenAI在GPT-4的基础上进行优化和改进的版本，旨在提供更高效和快速的性能，常被用于需要高效处理大规模数据的应用场景。

来自OpenAI官网

对比其他友商模型，据OpenAI官网介绍，在文本评估中，GPT-4o几乎碾压一众模型，包括Claude 3 Opus、Gemini Pro 1.5，甚至是Llama 3 400B。不过要注意的是，在DROP这一项指标中，GPT-4o的表现稍落后于GPT-4 Turbo。

来自OpenAI官网

在音频翻译任务上，GPT-4o模型强过OpenAI先进的语音识别模型Whisper-V3，同时也比Meta和谷歌的用于语音处理的模型强。

来自OpenAI官网

在视觉理解上，GPT-4o模型在任何一项指标都比谷歌的Gemini 1.0 Ultra模型和Anthropic公司的Claude Opus模型强。

来自OpenAI官网

从当地时间5月14日开始，OpenAI将向Plus用户推出macOS应用程序，还计划在2024年晚些时候推出Windows版本的应用程序。

OpenAI首席技术官Mira Murati在活动上介绍称，他们已经对50种不同语言的质量和速度进行了改进，今天已有超过1亿人使用ChatGPT产品来创造、工作、学习。Mira认为，模型能够通过语音、文本和视觉进行推理这一点非常重要，“因为OpenAI正在研究我们人类与机器之间交互的未来。”

有意思的是，就在OpenAI发布会结束后的北京时间5月15日凌晨，谷歌召开了I/O大会，推出了新的AI“全家桶”产品。