开源大模型:投资界的新争论焦点

发表时间: 2024-03-08 19:35

·开源和闭源一直是共存的。闭源人工智能支持者认为,人工智能类似于核武器,开源会危及国家安全。开源人工智能支持者认为,世界上最安全的软件是开源软件。

·大模型闭源公司有更多的算力、更好的数据,但不代表开源公司不会继续投入,开源大模型的能力层出不穷,当然,开源模型距离闭源模型还有一定距离,但一直在进步。

业界最大的人工智能初创公司OpenAI和Anthropic都在销售闭源人工智能大模型,以Meta为首的公司高举开源路线的旗帜。人工智能该开源吗?

特斯拉创始人埃隆·马斯克最近对OpenAI提起的诉讼,再次引发了AI是否应该开源的讨论。著名风险投资家马克•安德森(Marc Andreessen)和维诺德•科斯拉(Vinod Khosla)之间的“推特之战”突显了在如何开发和分享生成式人工智能方面的对立观点。安德森等开源人工智能技术的支持者表示,他们支持科学的开放共享、更高的透明度,防止大型科技公司垄断强大技术。科斯拉等闭源人工智能支持者表示,公司或其他私人实体提供了一种防范AI潜在危险和滥用的方法。

北京开放传神科技有限公司(OpenCSG)创始人、CEO陈冉3月8日对澎湃科技(www.thepaper.cn)表示,大模型一定要开源,大模型的算法本身就是开源的,有的大模型效果好,有的不好,不是因为算法有很大改进,而是关乎数据结构、数据质量、数据处理。“开源的最终目的是为了变现,做出商业模式。”

开源VS闭源

开源就是开放源代码,全球开源项目规模已超2亿个,将不同源代码开放给开发者,后者就可以根据他们的需求和应用领域创造出不同产品;闭源人工智能则由创造者私下控制和共享。

马斯克在诉讼中表示,OpenAI与微软的关系已经损害了该公司最初致力于公共、开源的通用人工智能(AGI)的目标,他要求OpenAI恢复开源。

科斯拉是科斯拉风投公司(Khosla Ventures)的创始人。在马斯克提起诉讼后,科斯拉表达了对奥特曼和OpenAI的支持。他认为,人工智能类似于核武器,开源会危及国家安全。他支持OpenAI成为营利性机构。美国一些议员也同意科斯拉的观点,人工智能开源可能会使得外国对手得到发展,因此应该受到相应保护。

安德森霍茨基金(Andreessen Horowitz)联合创始人安德森则发帖称,科斯拉正在“游说禁止开源”。安德森认为,“世界上最安全的软件是开源软件。大多数人关注,大多数错误被修复。”马斯克对此评论:“正确。”

两个阵营普遍认同的是,大语言模型并不是一种完全成熟的技术。ChatGPT和其他人工智能工具可能会输出幻觉、偏见、攻击性结果。对于一些开源支持者来说,大模型中的这种技术差距意味着,在因商业利益而闭源、实现AGI之前,它们必须在一个由科学家和学者组成的社区中公开开发。

“这是我们第一次大规模部署一项我们并不真正了解的技术。”艾伦人工智能研究院首席执行官阿里·法哈迪(Ali Farhadi)表示,“我们不知道如何控制这些系统。”艾伦人工智能研究院是由微软已故联合创始人保罗·艾伦2014年创立的非营利研究机构。

法哈迪和其他开源倡导者提到,在2017年谷歌研究人员分享支撑大语言模型的Transformer模型之前,科学家们已经通过分享他们的研究研发了几十年的人工智能。

选择不开源的背后原因

当前,业界最大的人工智能初创公司OpenAI和Anthropic都在销售闭源人工智能大模型。Anthropic最近发布了Claude 3大模型系列,欲与OpenAI的GPT-4竞争。

随着OpenAI逐渐不open(开放),对其模型参数和训练细节讳莫如深,以Meta为首的公司高举开源路线的旗帜。科技巨头Meta支持开源人工智能,其Llama 2大模型可供公众下载和修改。总部位于法国巴黎的Mistral AI发布了具有开源“权重”的模型,这些“权重”是构成模型内部工作的数值参数,但不开放数据或训练过程。

陈冉说,权重开源很重要,大模型训练到一定程度以后会产生一个二进制文件,在模型推理时可以使用。“如果很多开源厂商不告诉你这个二进制文件,基本上跟没开源一样,相当于告诉你有这样的效果,但没有告诉你秘方是什么。”

陈冉形容自己是坚定的开源支持者,他认为大模型一定要开源,大模型的算法本身就是开源的,不管是GPT-3、GPT-4还是Claude 3,算法都是一样的。“有的大模型效果好,有的不好,不是因为算法有很大改进,而是关乎数据结构、数据质量、数据处理。即便OpenAI的文生视频大模型Sora是算法上的创新,但这个创新也没有秘密,就是以前Diffusion(扩散模型)的CNN(卷积神经网络)算法加上Transformer的算法。”

陈冉也认为马斯克和OpenAI之间的分歧并不在于要不要开源,而是当下OpenAI处于闭源的情况下,曾经为了OpenAI作出了贡献的马斯克却不能和微软一样获得他想要的东西。在陈冉看来,马斯克是坚定的开源支持者,奥特曼也是坚定的开源支持者。开源的最终目的都是为了变现,做出商业模式和商业价值。“把代码扔出去、模型开源出去,不是说开源好还是不好,而是说能不能挣钱。”

一位不愿具名的开源从业者对澎湃科技(www.thepaper.cn)表示,“开源也是需要基础的,那就是技术必须是原创的,这样的开源比较有意义,要是基于别人的东西来做,再开源一下,没有太多意义。”

“为什么国内有的公司不敢开源?因为没有自己的原创,算法不是自己原创的,论文也不是自己写的,只是基于国外某一个开源版本做了一些全参的预训练。拿了投资人的钱,也拿了政府的钱,要是说这是基于别人的东西改了一下,会很丢面子,所以觉得还不如不开源。”这位从业者表示。

开源大模型能赶超闭源吗?

陈冉表示,目前闭源大模型的公司手里有更多的算力、更好的数据,但不代表开源公司不会继续投入,开源大模型的能力层出不穷,像Mistral AI这样的公司,如果用户越来越多,就会形成快速的超越。当然,开源模型距离闭源模型还有一定距离,但一直在进步,预计今年年中会出现很多效果良好的商业模型。

云知声智能科技股份有限公司董事长兼CTO梁家恩此前对澎湃科技(www.thepaper.cn)表示,从技术角度来说,技术圈里没有太大的秘密,全球大语言模型的范式相对统一。在闭源方面,OpenAI除了算法框架之外,在数据上的工作做得非常细致扎实。“在应用数量上,开源大模型的影响会更大,但在做到最高水平上,闭源大模型会更好一些。”

信也科技副总裁、大数据及AI负责人陈磊告诉澎湃科技(www.thepaper.cn),开源和闭源各有优劣。开源的生态比闭源好,会带来更多开发者帮助开源社区进步,进一步帮助开源大模型进步。但大模型的开源和其他技术的开源最大的不同是,大模型的开源对资源要求高。从大模型训练角度来讲,它的开源适用于有限范围内。闭源大模型更强调商业化和定制化能力。所以不同公司在不同阶段对开源和闭源的选择不一样。

开源和闭源一直是共存的,比如一些公司在开源代码基础上建立了私有系统。监管机构、大型科技公司、科学家目前仍不明确AI技术将发展得多快、走得多远,因此要不要开源,答案很难确定。Meta负责生成式人工智能的副总裁艾哈迈德•达勒(Ahmad Al-Dahle)说,认为任何一方会获胜是一种“错误的二分法”,“我认为两者都有发展空间。”

“从根本上说,开源将发挥非常重要的作用。”从事专有模型开发的人工智能初创公司AI21联合创始人兼联合首席执行官奥里·戈申(Ori Goshen)说,“即使是像我们这样的专有供应商,基本模型也会变成开源的,但其他一切都将成为你最珍贵的知识产权。”

“以前做操作系统、数据库,是代码上的闭源,而不是数据上的闭源。”陈冉表示,“现在做大模型,代码没必要闭源,数据有知识产权,数据的最终归属权是用户。”