ChatGPT(2)的崩溃真相:错误分数的背后故事

发表时间: 2024-06-17 15:17

(如果没有读过上篇文章“ChatGPT与《三国志》”,建议点击此处回看,因为内容有一定的连贯性。)

上篇文章说到,ChatGPT将每个汉字,都看成《三国志》里的武将,从12288个维度去研究它,理解它,才拥有了让人惊讶的自然语言理解能力。

那么,ChatGPT到底是从哪12288个维度,去理解一个字的意思?又如何确定每个维度的分值?

在揭开谜底之前,我们不妨猜想一下,可能会有哪些维度。

首先想到的,是词性,例如名词0.1分,动词0.2分,形容词0.3分。

还想到一个褒贬维度,例如“帅”0.8分,“普”0.5分,“渣”0.1分。

另外还可以有个时间维度,跟过去相关,0.1分,跟现在相关,0.2分,跟未来相关,0.3分。

这么想下去,倒是能想出不少,估计几百个没问题。

12288个?那也太辛苦了!至少得找十几个人分头做。问题是怎么保证他们找的维度不重复呢?又怎么保证他们找的维度没有遗漏呢?

更辛苦的工作是打分。新华字典总共13000个字,每个字,都要从12288个维度打分,共计1.6亿次。

不仅辛苦,分数是否合理还容易引起争议,就像《三国志》游戏里的曹操,为什么能得4个90+,刘备表示不服。

连曹操都说,“天下英雄,唯使君与操耳”。凭什么曹操4个90+ ,我才4个70+,打分的人到底懂不懂啊?



工作上有争议,其实也不用紧,不需要像曹操、刘备那样搞得你死我活,有争议可以找领导做决定啊。

问题是领导也不一定真的知道,打多少分最合适,比如英明神武的曹老板,都曾经在这个问题上犯过严重的错误。



蒋干的魅力明明只有47分,曹老板却给他打了87分,派他去劝说周瑜,跳槽到自家公司。

不出意料,蒋干灰溜溜地回来了,意外的是,他还能将功补过,带回来蔡瑁、张允投敌的绝密消息。

曹老板一时糊涂,居然相信蒋干有能力突破周瑜的安防系统,估计是将他的智力65分看成了95分,可以跟周瑜打个平手。



曹操错杀了水军都督蔡瑁和张允,后边周瑜才有连环计、苦肉计等一系列骚操作。

群英会蒋干中计之后,是宴长江曹操赋诗。当曹老板志得意满,醉酒当歌的时候,还不知道因为他打错了两个分数,一场大火已经在等着他了。赤壁大败,从打错两个分数开始。

准确的评价一个人,就是这么困难。准确地评价一个字,也同样困难。

比如说褒贬维度,“高”、“富”、“帅”的得分都高于0.5,估计大家都没有异议,但是哪个字得分更高,那意见分歧就大了。

仔细一想,给汉字打分的工作,不仅工作量大,难度更大。每个字要做出准确的定位,都很困难。

但是如果打分不准,使用汉字的时候就会像曹操用蒋干一样,一错再错。

如何选择12288个合适的维度,给每一个汉字准确的打分,是一个令人生畏的技术难题。

自然语言复杂多变,人根本无法想清楚里边所有的细节,我们想通过穷举法来解决问题,第一步迈出去,就走错了方向。

ChatGPT选择了另一条技术路线:让电脑自己找到合适的维度和分数。

问题在于:人都搞不定,机器怎么能自己搞定呢?下回我们再详细介绍。

云科AI,杜绝人云亦云、不知所云,力求云之有物,云之有理,欢迎关注、转发!