邱锡鹏教授宣布:MOSS大模型将于3月底开源

发表时间: 2023-02-26 22:21

·“大型语言模型几乎被国外垄断,并且他们只开发API或不开放给我们,我们就没有关于大型语言模型的一手材料。我们希望把MOSS以及模型代码和开发经验分享给大家,希望国内在大型语言模型方面能够站在世界前沿。”

复旦大学计算机科学技术学院教授、上海市计算机学会自然语言处理专委会主任邱锡鹏。

2月21日,国内第一个对话式大型语言模型MOSS由复旦大学邱锡鹏教授团队发布至公开平台,一经发布便引起高度关注。26日,复旦大学计算机科学技术学院教授、上海市计算机学会自然语言处理专委会主任邱锡鹏在2023全球人工智能开发者先锋大会(GAIDC)上谈起了MOSS,“对话式大型语言模型MOSS大概有200亿参数。和传统的语言模型不一样,现在对话式语言模型具有和人类的交互能力,这个Moss是基于公开的中英文数据训练。”

据上观新闻此前报道,MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。

邱锡鹏透露,“MOSS大模型计划在一个月之内,和人类不断交互,进行优化,顺利的话将于3月底开源。”

在邱锡鹏看来,开源是人工智能发展如此快速的原因之一。“从早期可能以10年为单位发展,到最近几年可以看到,以大型预训练模型、大型模型推动AI发展,它的突破性模型发展时间大概已经缩短到以年为单位,人工智能已经成为计算机学科里发展最快的领域之一。背后的原因是什么呢?离不开两个字,就是开源。”

这背后的逻辑在于,开源让整个科研过程形成良性闭环。“一个科研人员如果提了一个新算法,这个算法基本上既有基于前人开源的代码或模型基础,又有成果更新。之后,再把这个成果开源出去,这样就可以形成一个闭环。”邱锡鹏说,“现在我们做AI开发离不开深度学习的开源框架,它对我们的科研起到了非常大的促进作用。”

邱锡鹏认为,这解释了为什么ChatGPT对AI的编程等十分擅长,但对传统领域的知识回答不是很好。原因在于,网上有非常多AI行业的相关资料可以学习,有非常多的代码可以学习,基本上可以迭代。“有一天我们可以期待,是不是可以让像ChatGPT之类的大型模型帮助我们自动写一写AI代码,从而更加加速我们的AI闭环。”

这也是邱锡鹏选择开源MOSS大模型的原因。他说,“我们也想把MOSS贡献给学术界和商业界,使得我们学术界能够直接接受大型语言模型的一手材料。因为大型语言模型几乎被国外垄断,并且他们只开发API或不开放给我们,我们就没有关于大型语言模型的一手材料,这就对我们形成非常大的挑战。我们希望把MOSS以及模型代码和开发经验分享给大家,希望国内在大型语言模型方面能够站在世界前沿。”

最后,邱锡鹏提醒道,“我们在享受人工智能技术带来红利的同时,也要对新技术高速迭代与迅猛发展所带来的未知风险保持警惕。从安全到法律,从伦理到责任,在每个行业和领域中都需要制定相应规范约束,并建立有效监管机制。同时,在面对国际竞争与合作时也要保持清醒头脑,并积极参与全球AI体系建设与治理。”