OpenAI是美国一家人工智能公司,最初选择了在业内不看好的新兴技术路线上发展,作为一度面临资金链断裂风险的后发企业,后逆袭成为引领通用人工智能浪潮的领军企业。
2018年,OpenAI发布了GPT-1。
2020年6月,OpenAI发布了GPT-3。
2022年11月30日,在GPT-3模型基础上,OpenAI正式推出了对话交互式的ChatGPT。它上线仅5天用户数量就突破了100万,迅速风靡世界,席卷全球,这标志着AI进入了大模型时代。
2021年3月15日,OpenAI发布了GPT-4,目前提供给ChatGPT Plus订阅者使用。
GPT是一种大模型,是大规模预训练模型,可以简单理解为“大数据量AI模型”。它是指具有巨大参数数量和复杂结构的机器学习模型。这些模型通常由大量的神经网络层和参数组成,可以处理和学习大规模的数据集。大模型一次训练可能需要“高性能集群” 花费 “数天甚至数周”的时间。
大模型通常拥有天文数字的参数。以GPT3.5为例,其参数为1750亿。
chatgpt一夜爆火后,国内外的企业纷纷跟进,各种大模型纷纷推出,微软、腾讯、阿里、华为、百度(飞浆)都开发了自己的深度学习平台,对大模型进行训练。但是,在综合表现上,chatgpt仍然一骑绝尘。
微软推出的Turing-NLG,有170亿参数。
谷歌推出了号称有1.6万亿模型参数的switch transformer。
百度的“文心一言”有2650亿个参数。
2023年5月6日,科大讯飞在成果发布会上正式发布了“讯飞星火认知大模型”。
2023年7月7日,华为发布了AI大模型——盘古3.0版本,参数量1000亿。
2023年4月11日,阿里正式推出大语言模型“通义千问”。
2023年8月31日,字节跳动正式推出大语言模型“云雀”。
AI大模型生态呈现出一种百花齐放的状态,人人都意识到了AI的巨大潜力,想在这个浪潮中做涌得最高的浪花……
在大模型之后,各种AIGC原生应用也如雨后春笋般显现,AI写作、AI绘画、AI视频、AI PPT、AI思维导图层出不穷,AI正在以一种强有力的姿态“侵入”我们的生活。
GPT用的预训练模型是生成式技术(Generative),采用自回归架构,单向预测,通过上文来推测下文,它永远只预测下一个字,这样不断循环来生成新的内容,我们称之为生成式AI。它采用极简架构,走大算力,大数据的技术路线。
2018年,GPT发布几个月后,谷歌发布了另外一种预训练模型BERT,称之为检索式AI,与GPT用的单向模型不同,它是双向的,通过检索语料库来生成回答。
检索式AI是在大数据量的基础上,让AI找到正确答案,而生成式AI是对于让AI自己去判断什么是正确答案,然后提供给用户。检索式AI做的是完型填空,而生成式AI做的是文字接龙。
在起初两种模型的博弈中,GPT1.0所用的生成式技术处于下风。生成式AI的效率和准确度远远低于检索式AI,人们在严肃的商业场合都在使用BERT,比如Siri。
到了GPT2.0的时候,事情突然现了转机。人们突然发现,在提高了数据量后,GPT居然无师自通地拥有了好几项技能,如文本摘要,如翻译。这说明,对于AI来说,生成式前途不可估量。
于是,OpenA公司在GPT模型上投入巨资,开发3.0。
某种能力在较小的模型中不存在,只在较大的模型中存在,模型规模必须要指数级增长超过某个临界点,新技能才会突飞猛进。
我们知道,ChatGPT是通过文字用自然语言与人们交流的,这就要求它熟练掌握语法规则。如句子通常由主语、谓语和可能的宾语组成。名词前面可以有形容词,后面可以有动词,但是两个名词通常不会挨在一起。ChatGPT并不明确了解这些规则,我们也没有把这些规则输入到大模型中。但是在训练过程中,它自己发现了这些规则,并灵活地遵守它们。而我们并不清楚ChatGPT是如何做到这一点的。
目前GPT可以出色地生成文本,可是并不能解释,为什么赋予的大模型能够起作用,GPT是如何一步步工作的。人类所做的,只是提供大量的文本和一个近似的模型,然后,对它进行训练,就是看着GPT自我学习。而GPT哪一天到底学会了什么,人类无从知道,也无法预测。佛教有“渐悟”和“顿悟”,GPT是顿悟的,他的的新技能是突然“涌现”的,当模型规模(参数)突破某个临界点后,终于有一天,量变产生了质变,GPT进化了,这个进化的细节,我们无从得知。
在训练下,AI正在自我进化。对于图片和声音,AI已经处理得游刃有余。AI已经学会了看图说话,理解图片中的意思,更可以按照人类给的指令生成图片。
更进一步地,GPT已经毫无征兆地学会了情感分析,那么,AI什么时候会有自主意识,什么时候会产生情感,人类并不知道,但是,我们知道,这件事早晚会到来。
这是最好的时代,也是最坏的时代。ChatGPT到底有多厉害我们已经见识到了,但还有剥不开的迷雾等着我们去探索,未来究竟会是怎样,无人能准确预知,但一定无人能脱身于这场巨大的AI浪潮。