Meta发布震撼开源：揭秘“最强开源模型”Llama 3.1

21世纪经济报道记者孔海丽 实习生王夏雯 北京报道 开源阵营迎来新的“大家伙”。

当地时间7月23日，Meta正式发布Llama 3.1。在官方博客中，Meta称该模型是目前“最强大的开源基础模型”，并表示：“直到今天，开源大模型在功能和性能方面大多落后于封闭模型。现在，我们正在迎来一个开源引领的新时代。”

作为开源领域的常青树， Llama系列一直在引领开源大模型的脚步，Meta也被奉为与OpenAI齐名的巨头，分别代表着开源与闭源的技术走向。

发布Llama 3.1的同时，Meta创始人、CEO扎克伯格也发布长文强调了开源的意义，他表示，开源是AI积极发展的必要条件，“今天我们正迈出下一步——使开源AI成为行业标准。”

“最强开源模型”

Llama 3.1包含8B、70B和405B三种参数规模，适用于多种场景，包括多语言代理、复杂推理和编码助手等。该系列模型上下文窗口增加到了128K，扩大16倍；支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等；提升了工具使用能力，支持搜索和Wolfram Alpha的数学推理；拥有更宽松的许可，允许使用模型输出改进其他LLMs。

评测结果显示，Llama 3.1 405B可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等业界头部模型媲美，这也是Meta迄今为止最强大的模型。

Meta指出，最新一代的Llama将激发新的应用程序和建模范式，包括利用合成数据生成来提升和训练更小的模型，以及模型蒸馏——这是一种在开源领域从未有过的能力。

其实在模型公布前一天，Llama3.1的模型和基准测试结果已经在Reddit等技术社区上泄露，Llama 3.1的磁力链接在HuggingFace等社区中流传。“开源”、“强大”成为业界人士使用感受中的高频词。

不少AI领域专业人士在X上发表观点，包括“这是开源Al最重要的时刻，其在基准测试上已经有多项超越了GPT-4o”，“将先进的大模型开源，是击败那些传播AGI恐怖论人员的最佳方式”等。此外，也有不少网友尝试向Llama3.1提问“9.11和9.9谁大”这一经典问题，不过，Llama3.1也出现了偶尔答错的情况。

不同于OpenAI对技术文档的“惜字”，Meta还发布了长达92页的论文，详细披露了创造Llama 3.1的过程。HuggingFace首席科学家Thomas Wolf感慨说：“如果你是从零开始研究大模型，就从这篇论文读起。”

技术论文也透露了一些训练细节，包括Llama 3.1在超过15万亿个token的数据上进行训练，用了1.6万块英伟达H100芯片，预训练数据日期截止到2023年12月等。此外，为了保证训练稳定性和便捷性，Meta只用了Transformer模型架构进行调整，而没有采用现在流行的混合专家模型（MoE）架构。

Llama 3.1发布之后，Meta与一系列公司迅速展开合作，以发展更广泛的生态系统，亚马逊、Databricks和英伟达正在推出全套服务，以支持开发人员微调和提炼他们自己的模型。Scale.AI、Dell、德勤等公司已准备好帮助企业采用Llama，并用他们自己的数据训练定制模型

国内厂商方面，北京时间7月24日，腾讯云TI平台适配并上架了Meta最新开源大模型Llama3.1，腾讯云对该系列模型进行了精调、推理测试验证，保障模型的可用性、易用性，可覆盖智能对话、文本生成、写作等多个不同场景。

扎克伯格力挺开源AI

Llama 3.1面世，扎克伯格同一时间在官网发布长文《开源AI是前进之路》，详细阐释了开源对所有开发者、对Meta、对世界的意义。

谈及为何要开源，以及开源对于AI行业的意义，扎克伯格描绘了开发者、Meta以及世界三方共赢的开源之路。

他指出，对于开发者而言，开源模型可以帮助他们训练、微调和蒸馏自己的模型，掌控自己的命运，而不是被闭源供应商“锁死”，可以保护他们的数据安全，并以更低的成本训练出属于自己的高效率运行模型。

对于Meta而言，为确保始终能够获取最佳技术，而不是被锁定在竞争对手的封闭生态系统中，Llama需要发展成为一个完整的工具生态系统，包括效率提升、硅片优化和其他集成等。扎克伯格预计，人工智能的发展将持续激烈，这意味着开源任何特定模型并不会在当时丧失比下一个最佳模型更大的优势。Llama致力于通过持续保持竞争力、效率和开放性，逐步成为行业标准。

他还直白地表示：“Meta与闭源模型提供者的一个关键区别在于，出售AI大模型的访问权并不是我们的商业模式。这意味着公开发布Llama并不会削弱我们的收入、可持续性或研究投资能力，而这对于闭源提供者来说则不然。”

对于世界而言，扎克伯格认为，开源将确保全球更多的人能够从AI的发展中获得好处和机会，权力不会集中在少数几家公司手中，技术能够更均匀和安全地在社会中部署。

开源与闭源的争论一直是技术领域的热点话题。他在文中写道：“我相信Llama 3.1的发布将成为行业的一个转折点，大多数开发者将开始主要使用开源。”

从技术进步的角度，360集团创始人周鸿祎曾表示，在开源社区里，为了一个共同的目标，凝聚起全球上千家公司、数十万程序员和工程师，一起来解决问题，开发力量是一个闭源公司的数百倍。而且在开源的文化里，大家不用重复发明轮子，一个人在另一个人想法基础上快速改进，研发速度也特别快。

阿里云CTO周靖人告诉21世纪经济报道记者，开源对全球技术及生态的贡献毋庸置疑，这一点也在全球范围内被多次证明，已经没有再讨论的必要。“我们认为，大模型的潜力还没有真正被挖掘出来，企业和开发者能够结合自己实际业务的需求，在开源体系里探索出一个翻天覆地的变化。”他说。

科技巨头们对AI的押注从未懈怠。Meta也从此前押注的元宇宙赛道积极往AI领域转型。日前，Meta宣布削减其元宇宙部门Reality Labs的硬件预算，该部门负责AR、VR和元宇宙业务。Meta还将一些致力于AI的Reality Labs团队转移到公司更广泛的生成式AI团队，其中包括一个140人的AI语音开发团队。

就在Llama 3.1发布同一天，谷歌母公司Alphabet管理团队还在二季度财报电话会上强调了AI投资的重要性。Alphabet首席执行官Sundar Pichai直言：“对AI‘投资不足’的风险远超‘投资过度’风险”，即使出现过度投资的情况，当前用于数据中心等基础设施的投资也可以用于其他任务，而不在AI竞赛中保持领先地位将对公司造成更为严重的负面影响。”

GPT-4o刚刚刷过存在感，Llama 3.1又横空出世。在这场AI竞赛中，科技巨头们步履不停，无论是闭源还是开源，未来都还有硬仗在前。

更多内容请下载21财经APP