揭秘OpenAI o1大模型背后的工作原理

发表时间: 2024-09-19 09:43

AI奇点网丨AI资讯丨AI工具推荐丨AI工具教程

提供1000+款AI效率工具丨AIEVA.CN丨欢迎访问

AI奇点网2024年9月19日报道丨AI资讯早报

财富:OpenAI明年转换公司架构,转为营利性组织

9 月 15 日消息,美国知名财经杂志《财富》在 9 月 13 日刊文称,OpenAI CEO 奥特曼在近期的一次工作周会上,向 OpenAI 公司员工“提前预告”,公司的董事会一致决定,将在明年适当的时候,将公司的经营架构调整为一个比较复杂的非营利性企业结构。

报道称,OpenAI 在保留一个非营利部门之外,调整成为更传统的营利性公司。

奥特曼表示,OpenAI 将摆脱公司成立之初的非营利实体控制,转型为一家更为传统形态的营利性组织,但是并未透露更多的细节。

OpenAI 一位发言人在回应媒体咨询的时候回应称,公司仍“致力于构建造福全人类的 AI 系统”,并强调非营利性是“其使命的核心,并将持续存在”。

谷歌论文揭晓OpenAI o1大模型的工作原理

在今年的 8 月 6 日,谷歌旗下的 DeepMind 团队曾经发表了一篇论文《优化 LLM 测试时计算比扩大模型参数规模更高效》。在本文中,探讨了大模型(LLM)在面对复杂问题时,是否可以通过增加测试时的计算量来提高决策质量。

研究表明,增加运算测试时(test-time compute),改变计算方法比扩展模型的参数量更有效。这一发现与 OpenAI 近期发布的 o1 模型原理相似,o1 模型在给出答案之前,会生成一系列中间推理步骤,不断完善自己的思维过程,尝试不同的策略,并能识别自身错误,从而提升性能。

此外,谷歌和斯坦福大学研究人员在 2024 年 1 月发表的论文《思维链赋能 Transformer 解决本质上的串行问题》中也提出了类似的观点,探讨了「思维链」(Chain of Thought,简称 CoT)技术,旨在突破 Transformer 模型在串行推理方面的限制。

这些研究表明,AI 大模型的竞争可能正在从单纯的模型参数规模扩展转向更高效的测试时计算和硬件能力的提升。随着技术的发展,大模型的竞争已经不仅仅局限于模型本身,硬件能力也成为关键因素。在 AI 领域,拥有更强大的算力可能意味着在下一阶段的竞争中占据优势。例如,OpenAI 近期被曝出其首款芯片计划,采用台积电最先进的 A16 级工艺,专为 Sora 视频应用打造,这表明大模型的竞争已开始向硬件能力扩展。

OpenAI计划在9月24日发布ChatGPT高级语音模式

当时间9月18日,美国科技博客 Testing Catalog 发布研究报道称,他们在 OpenAI 推出的 ChatGPT 的高级语音模式代码里边又发现了一些新的线索。他们认为,ChatGPT 的高级语音模式将在 9月 24日直接正式发布。

该媒体报道称,OpenAI 公司已更新高级语音模式 FAQ 页面,在代码中被发现「
hasSeenAdvancedVoice/2024-09-24」的字符串,从字面看,暗示将会在 9 月 24 日开放邀请部分的移动用户体验高级语音模式。

今年7 月份,OpenAI 曾经面向一小部分 ChatGPT Plus 用户开放内测 ChatGPT 的高级语音模式,让用户首次获得 GPT-4o 的超现实音频响应。

而在 macOS 版的 ChatGPT 应用上,同样发现了一些新的功能线索——在语音模式界面中,代表 ChatGPT 语音的熟悉黑色圆形图标已被替换为随语音播放而滚动的天空动态动画。

Kimi杨植麟评价OpenAI o1模型:大模型新范式的产生

在中秋假期前的 9 月 14日,Kimi 创始人兼CEO 杨植麟在天津大学宣怀学院进行的一场大模型技术分享会。在这次分享会上,他主要分享了对人工智能行业发展的思考。

杨植麟在谈到近期发布的 OpenAI o1 模型时,他表示 OpenAI o1模型的发布,通过强化学习尝试突破数据墙,并看到计算更多向推理侧增加的趋势。

他认为,下一个行业的范式是通过强化学习能力来做。之所以要强化学习,就是因为人类社会的天然数据完全不够用了。最近 OpenAI 会发布了 o1 大模型,标志着”从左边的范式迁移到右边范式“,因为左边范式数据不够了。

用一个浅显的比喻来说,这个世界上数学题就这么多,如果要提升数学怎么办呢?

可以一直生成更多的题,然后自己做题,有的做对了,有的做错了,然后去学习哪些做对了,哪些做错了,你就可以持续提升,这个本质上就是强化学习的过程。

Runway迈出行业第一步:与好莱坞狮门影业达成合作

当地时间 9 月 17 日,知名的 AI 视频创作平台 Runway 宣布与好莱坞著名电影制片厂狮门影业达成技术合作,该公司将使用狮门影业的影片目录训练一个定制视频模型。

狮门影业副董事长迈克尔・伯恩斯表示,公司的电影制片人、导演和其他创意人才将获得该模型,以增强工作效率。“狮门影业拥有一支出色的创意团队,对 AI 如何帮助他们的工作有着清晰的愿景,我们很高兴能帮助他们将想法变为现实。”

Runway 公司表示,公司在考虑如何将模型作为模板授权给个人创作者,使其建立和训练自己的定制模型。

值得一提的是,这是目前 AI 视频领域,第一家与传统好莱坞制片厂达成公开合作的生成式 AI 创业公司,标志着 AI 视频商业化迈向新台阶。

【本文来自丨AI奇点网丨全网账号同名丨欢迎搜索关注】

AI奇点网丨提供1000+款AI效率工具丨AIEVA.CN丨欢迎访问