ChatGPT:揭秘这个神秘的人工智能

发表时间: 2024-03-18 18:15

一、ChatGPT轰动问世

OpenAI是美国一家人工智能公司,最初选择了在业内不看好的新兴技术路线上发展,作为一度面临资金链断裂风险的后发企业,后逆袭成为引领通用人工智能浪潮的领军企业。

2018年,OpenAI发布了GPT-1。

2020年6月,OpenAI发布了GPT-3。

2022年11月30日,在GPT-3模型基础上,OpenAI正式推出了对话交互式的ChatGPT。它上线仅5天用户数量就突破了100万,迅速风靡世界,席卷全球,这标志着AI进入了大模型时代。

2021年3月15日,OpenAI发布了GPT-4,目前提供给ChatGPT Plus订阅者使用。

二、大模型乱斗与AI应用生态

GPT是一种大模型,是大规模预训练模型,可以简单理解为“大数据量AI模型”。它是指具有巨大参数数量和复杂结构的机器学习模型。这些模型通常由大量的神经网络层和参数组成,可以处理和学习大规模的数据集。大模型一次训练可能需要“高性能集群” 花费 “数天甚至数周”的时间。

大模型通常拥有天文数字的参数。以GPT3.5为例,其参数为1750亿。

chatgpt一夜爆火后,国内外的企业纷纷跟进,各种大模型纷纷推出,微软、腾讯、阿里、华为、百度(飞浆)都开发了自己的深度学习平台,对大模型进行训练。但是,在综合表现上,chatgpt仍然一骑绝尘。

微软推出的Turing-NLG,有170亿参数。

谷歌推出了号称有1.6万亿模型参数的switch transformer。

百度的“文心一言”有2650亿个参数。

2023年5月6日,科大讯飞在成果发布会上正式发布了“讯飞星火认知大模型”

2023年7月7日,华为发布了AI大模型——盘古3.0版本,参数量1000亿。

2023年4月11日,阿里正式推出大语言模型“通义千问”

2023年8月31日,字节跳动正式推出大语言模型“云雀”

AI大模型生态呈现出一种百花齐放的状态,人人都意识到了AI的巨大潜力,想在这个浪潮中做涌得最高的浪花……

在大模型之后,各种AIGC原生应用也如雨后春笋般显现,AI写作、AI绘画、AI视频、AI PPT、AI思维导图层出不穷,AI正在以一种强有力的姿态“侵入”我们的生活。

AI写作

AI绘画

三、生成式AI不可估量

GPT用的预训练模型是生成式技术(Generative),采用自回归架构,单向预测,通过上文来推测下文,它永远只预测下一个字,这样不断循环来生成新的内容,我们称之为生成式AI。它采用极简架构,走大算力,大数据的技术路线。

2018年,GPT发布几个月后,谷歌发布了另外一种预训练模型BERT,称之为检索式AI,与GPT用的单向模型不同,它是双向的,通过检索语料库来生成回答。

检索式AI是在大数据量的基础上,让AI找到正确答案,而生成式AI是对于让AI自己去判断什么是正确答案,然后提供给用户检索式AI做的是完型填空,而生成式AI做的是文字接龙。

在起初两种模型的博弈中,GPT1.0所用的生成式技术处于下风。生成式AI的效率和准确度远远低于检索式AI,人们在严肃的商业场合都在使用BERT,比如Siri。

到了GPT2.0的时候,事情突然现了转机。人们突然发现,在提高了数据量后,GPT居然无师自通地拥有了好几项技能,如文本摘要,如翻译。这说明,对于AI来说,生成式前途不可估量。

于是,OpenA公司在GPT模型上投入巨资,开发3.0。

某种能力在较小的模型中不存在,只在较大的模型中存在,模型规模必须要指数级增长超过某个临界点,新技能才会突飞猛进。

我们知道,ChatGPT是通过文字用自然语言与人们交流的,这就要求它熟练掌握语法规则。如句子通常由主语、谓语和可能的宾语组成。名词前面可以有形容词,后面可以有动词,但是两个名词通常不会挨在一起。ChatGPT并不明确了解这些规则,我们也没有把这些规则输入到大模型中。但是在训练过程中,它自己发现了这些规则,并灵活地遵守它们。而我们并不清楚ChatGPT是如何做到这一点的。

目前GPT可以出色地生成文本,可是并不能解释,为什么赋予的大模型能够起作用,GPT是如何一步步工作的。人类所做的,只是提供大量的文本和一个近似的模型,然后,对它进行训练,就是看着GPT自我学习。而GPT哪一天到底学会了什么,人类无从知道,也无法预测。佛教有“渐悟”和“顿悟”,GPT是顿悟的,他的的新技能是突然“涌现”的,当模型规模(参数)突破某个临界点后,终于有一天,量变产生了质变,GPT进化了,这个进化的细节,我们无从得知。

在训练下,AI正在自我进化。对于图片和声音,AI已经处理得游刃有余。AI已经学会了看图说话,理解图片中的意思,更可以按照人类给的指令生成图片。

更进一步地,GPT已经毫无征兆地学会了情感分析,那么,AI什么时候会有自主意识,什么时候会产生情感,人类并不知道,但是,我们知道,这件事早晚会到来。

这是最好的时代,也是最坏的时代。ChatGPT到底有多厉害我们已经见识到了,但还有剥不开的迷雾等着我们去探索,未来究竟会是怎样,无人能准确预知,但一定无人能脱身于这场巨大的AI浪潮。