揭秘ChatGPT的强大之处：张钹院士的深度解析

ChatGPT(聊天GPT)为什么有这么强大的性能？主要依靠两个"大"。

·首先先说第一个"大"，一个大文本，原来的神经网络是一个字一个字往里输的，现在是一大段的文本往里输。到了GPT-4的时候到了多少？128000个汉字同时输进去，就是300多页的文本同时输进去。什么意思？它能看到全文了，大家想想，一个字一个字看，能看到它的意思吗？所以现在可以全文同时输进去给它处理。

·第二个就是巨大的人工神经网络，ChatGPT(聊天GPT)里头用它做生成，做语言生成，用一个巨大的人工神经网络。这个人工神经网络专门给它一个名字叫"转换器"，就是GPT那个"T"。G是什么？生成式，P是预训练，T是转换器，它是靠这三个东西的。

·最后一个自监督学习，这是OpenAI(开放人工智能)的贡献。所以大家不要认为ChatGPT是OpenAI花四年时间做出来的，不是，是全世界的科学家、工程师花了六七十年的时间的研究才出来的ChatGPT(聊天GPT)。前面两个成果主要是大学做的，只有最后一个成果"自监督学习"是OpenAI(开放人工智能)提出来的。

自监督学习有什么好处？有一个好处就是过去要它学习都要做预处理，预先标注，这个工作量太大，是没法大量学习。自监督学习什么意思？就原来的文本不经过任何处理就可以学了。这样经过这三个，依靠大模型。

·第二个是大文本，自监督学习以后所有文本不要经过任何的预处理就可以学了。这里可以看到文本原来是GB(吉字节)量级，现在是TB(太字节)量级的。大家看一下，45个TB(太字节)，现在OpenAI(开放人工智能)差不多学了45个TB(太字节)。GPT-4的时候45个TB相当于多少？相当于1351万本的《牛津词典》。

大文本(GB 文率。

人文清毒津词典》多少(内容)？人文法葬津词典》是26卷100多本，它相当于学了1351万本的《牛津词典》，它的学问超过今天所有在座的人，所有在座的人学的知识，所有的书本加起来还是它的零头。

人就以为什么ChatGPT(聊天GPT这么厉害，就等于说它读了1351万本的《牛津词典》，它的学问比在座的所有人都要高，而且它的读不是死读，而是理解它的内容，读它内部的知识。