李彦宏首度揭秘:百度文心大模型开源之谜

发表时间: 2024-04-12 05:35

本报记者 李静 北京报道

距离百度发布对话式大语言模型文心一言已经有一年时间。今天,一则百度创始人、董事长兼首席执行官李彦宏的内部讲话流出。在内部讲话中,李彦宏对大模型开源与闭源的路线选择以及AI创业者应该专注模型还是应用等业界焦点话题,发表了自己的看法。

“一年前文心(一言)刚刚发布的时候,我们内部是有过非常激烈的讨论的,最后当然大家也知道这个结果,我们的决定是(文心大模型)不开源。”李彦宏说,“为什么不开源?当时的判断是,市场上一定会有开源的模型,而且是不止一家会开源。在这种情况下,多百度一家开源不多,少百度一家开源也不少。”

目前的大模型市场中,主流的开源模型包括国外的Llama、Mistral,国内的智源、百川、阿里的通义千问等。李彦宏认为,如果对外开源还得去维护一套开源版本,从经济角度考虑是不划算的。更重要的是,李彦宏认为闭源模型在能力上会持续地领先,而不是一时地领先。

“我们觉得模型开源的意义其实不是很大,这些开源模型都是在外面零零散散小规模地去做各种各样的验证应用,它并没有经过大算力的验证。跟传统的软件开源比如Linux、安卓等等不一样,由于模型带来的开源,我们也不知道参数为什么变成了那个样子,这种情况下很难实现众人拾柴火焰高。”李彦宏还举例说道,虽然Llama也鼓励大家去贡献各种各样的数据、代码,但实际上大家明白最主要的开发者就是Meta这些人,Llama并不是一个真正由大家一起来协同开发的产品。

“反观闭源,是有真正的商业模式,并且能够赚到钱,能够赚到钱才能聚集算力、聚集人才。”李彦宏说道。

另外,李彦宏认为,闭源在成本上也更有优势。在同等能力下,闭源模型的推理成本更低,响应速度也更快。同等参数情况下,闭源模型的能力也更强。“今天不管是在中国,还是在美国,最强的基础模型都是闭源的。而各种各样的小模型都是通过大模型蒸馏而来,这会导致闭源在成本上、在效率上也有优势。”

《中国经营报》记者了解到,2019年3月,百度发布了ERNIE 1.0模型,随后在同年7月发布了ERNIE 2.0模型,并在11月发布了ERNIE语义理解开发套件。之后,百度推出了文心ERNIE 3.0以及文心·ERNIE 3.0 Titan模型。2023年3月,百度在ERNIE及PLATO系列模型基础上研发发布文心一言。2023年10月,百度正式发布了文心大模型4.0,当时李彦宏就表示:“文心4.0是迄今为止最强大的文心大模型,实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上都有着明显提升,综合水平‘与 GPT-4相比毫不逊色’。”

(编辑:张靖超 审核:李正豪 校对:颜京宁)