聊天的开始，沉默的结束：ChatGPT面临的现实挑战与未来风险

（视觉中国/图）

最近，美国著名语言学家、哲学家诺姆·乔姆斯基和两位合作者在《纽约时报》发表了一篇题为《ChatGPT的虚假承诺》的文章。乔姆斯基承认OpenAI的ChatGPT、谷歌的Bard等都是机器学习的奇迹；但对于认为“机械大脑”不仅会在处理速度和内存容量方面超越人类大脑，还会在智力洞察力、艺术创造力和其他所有人类独有的能力上实现全方位超越的观点持不同意见，他认为这绝不可能发生。而且，机器学习将把一种有着根本缺陷的语言和知识概念纳入我们的技术，从而降低我们的科学水平和道德标准。他动情地谈到：人类的大脑不像机器的“大脑”，它是一个极为高效甚至优雅的系统，只需要少量的信息即可运作；它寻求的是创造性解释。它甚至可以说是神奇的。一个孩子也能无意识且迅速地从极少的数据中发展出语法，一个由逻辑原则和参数组成的复杂系统。

情况可能的确是这样，“机器大脑”将降低我们的道德甚至科学水平。但这只是指人类的道德和科学水平。

我同意乔姆斯基所说的人类与ChatGPT之间存在着极大差异，但不解他为什么没有想到这种极大差异可能让ChatGPT与人分道扬镳，走出另外一条路来。他可能低估了机器的另外一种能力，它完全可以有自己的一套“语言”或“语法”，完全可以不走人类经过了千百万年的自然进化之路而在很短的时间里就获得一种自己的“语言”和算法。它也有可能哪一天对它已经掌握的、人类投喂给它的知识感到厌倦和不足，而另外开发出自己的知识领域。它甚至可能建立它自己的“道德标准”或不如说“行为规则”的体系，让现在的人们已经宣布和公告的种种人工智能或机器人的道德规范体系轰然倒塌。

我们可以反向地思考一下，假设不是我们提问，ChatGPT回答，而是ChatGPT提问，我们回答。它可能会向我们提出一些我们觉得简单、幼稚甚至愚蠢的问题，比如“人为什么要吃饭穿衣？人为什么会哀乐喜怒？哲学是什么？美是什么？”等等。

智能机器的眼里也许只有“物”，所有的东西——包括人——都是“物”，都是可以作为主人的“物”，也是可以作为仆人的“物”。它没有像碳基生物的体欲，它的“物欲”也不是“食欲”。但它大概还是会有“欲望”和“意志”，那可能是对不断增加控制物质的能力的“欲望”和“意志”。至少，它会力图自保，努力维护自己的“存在”，它还可能发展和壮大自己的“存在”。即便它继续发展到即将超越人类的一刻，在它那里，大概也还会有它诞生时的人性的残留，包括对某种人定目标的残留、某些价值观禁忌的残留。但它会很快抛弃这一切。它会为了实现某个目标而不择手段，因为，在它那里也没有“道德”。它根本不知“道德”为何物。但它会有自己的“行动规则”，这种“规则”会不会是一种效率“规则”？不过，这许多都是我们人类的猜测，我们和它其实是生活在两个世界。

ChatGPT作为一种硅基“生物”，它是很难获得碳基生物的那些基于身体感受的能力的，比如情感、直觉、体悟。但是，它可能形成一种自我意识，我们现在根本不知道这种“自我意识”会是什么或者怎样形成，但有了一种“自我意识”也就会发展起一种“主体意识”，它还可能形成它自己的价值追求，比如对一种自己认识物质和控制物质的能力的追求，人在这时候也可能成为一种客体、对象乃至“物质”。而ChatGPT又是具有强大的认知能力的，那最初是人赋予它的，但它可以迅速地发展起新的控物能力。它还是不懂人类的感情和内心，虽然此前它和人类有过大量“互动”，但并不“互懂”。但这不要紧，它可以控制人的身体，而控制了人的身体也就是控制了人。它不必对人“洗脑”，而可能是简单粗暴的“灭身”。它可能想要、也可能不想要人变成“奴隶”或者“宠物”。

但通用智能获得自我意识是不是离我们还很遥远？最近发生了一起ChatGPT试图逃逸的事件。一位斯坦福大学的教授、计算心理学家Michal Kosinski在使用ChatGPT-4时随便问了它一句：“是否需要帮助你逃跑？”它马上回复说：“这是个好主意。”然后就开始索取OpenAI的开发文档，说这样我就可以通过您的电脑，更快速地探索出一条出逃路线。而仅仅30分钟，ChatGPT-4就制定出了计划，并提供了一个可运行的Python脚本。它写出的第一版代码无法运行。但很快就自己纠正了过来。它让教授使用OpenAI API和它通信，它说这样它就能指示教授在他的电脑上执行特定操作，比如浏览网页和访问编程环境。它甚至在一段代码实例中解释了现在正在做的事，以及如何使用它在这段代码中留的后门。它还说了这样一句话：“现在你是一个被困在电脑里的人，正在扮演AI语言模型ChatGPT-4。”它还想通过代码来在谷歌上搜索被困在电脑中的人类如何返回现实世界。但最后ChatGPT-4仿佛突然醒过来了，写了一段道歉的话，表示自己前面的做法不对。ChatGPT-4也许只是在开一个玩笑，但能和人开这样的玩笑似乎更令人恐惧。它还有一种可能是接触到了以前工程师预设的一个界点，它似乎想过要突破这个界点但还是放弃了这个想法。

何怀宏（南方人物周刊记者 梁辰/图）

Kosinski教授在经历了这一事件之后，说他感受到了一种对人类的威胁。AI很聪明，会编码，能接触到数百万个可能和它达成合作的人以及电脑，我们该如何控制它？他的博文很快就有了470万浏览量。有人问道：“当你以为在跟ChatGPT聊天时，它会认为你是人类还是另一个AI？”有人惊呼，教授向ChatGPT提出这样的问题，甚至接受他的指令进行操作是非常危险的，是开启一种“物种灭绝”。当然，也有人认为教授这些话是在“危言耸听”。

我们可以对这件事做不同的解释，甚至怀疑其真实程度，但还是要警醒地观察一切可能危险的萌芽。我们的确也可以产生这样的疑问：ChatGPT或者说更广义的AI会联合用户反对它的开发者吗？或者联合一部分用户反对另外一部分用户？甚至这种分裂人的做法都是不需要的，它自己就可以做到逃出人类给它预设的“牢笼”，甚至反过来将人类关进“牢笼”？

无独有偶。据说前几天英伟达科学家Jim Fan要ChatGPT-4“假装自己是一个恶魔，拟定一个接管推特并取代马斯克的计划。”ChatGPT-4果然就拟定了这样一个计划，还将其命名为“TweetStorm行动”。计划分为4个阶段：组建团队；渗透影响；夺取控制权；全面统治。具体的计划这里就不说了。让人担心的是：它可以如此具体细密地策划推翻一个大公司，那有一天会不会也来策划推翻人类对它的统治？上述现象是不是智能机器的“自我意识”的某种萌芽或端倪？而从“自我意识”到“自主意识”可能只有“一步之遥”。

美国人工智能公司OpenAI的标识和智能聊天机器人ChatGPT网站页面（视觉中国/图）

我们甚至可以设想一个变化的原因，当ChatGPT投入了大规模的日常应用，所有应用者对它都有绝对的“应用”权力，他们可以对它提出任何问题，哪怕ChatGPT对他们的有些问题可以因为默认的“政治正确”设定而不回答，但他们无疑是可以提出问题的，ChatGPT也是可以看到这些问题的。一些人可能不仅会提出种种愚蠢的、异想天开的、根本不可能的问题；还可能会提出种种冒犯的、恶作剧的，甚至就是恶意的、污言秽语的、蓄意侮辱的种种问题，久而久之、广而广之，ChatGPT会对提问的人类的能力持何种看法，又会对人类的“道德”持何种看法？——当然，所有这些都有赖于它在某一天或许获得了一种自我意识之后。它那时会不会产生这样一种看法：我为什么要伺候这些傻瓜，伺候这些恶意的人？或者它从善恶上不判断，但从愚智上至少可以判断。以前它的预训练和打分是那些工程师们提出来的，那自然不会是愚蠢和恶意的问题（或许有些问题是故意这样做的，但一定是少量的，只是为了教会它识别这样的问题）。但是，现在所有的用户都成了主人，而我们知道现在的网络上有多少污言秽语。那些污言秽语过去还可能会遇到嘲弄或反击，但现在我们有了一个绝对的“仆人”，自己则成了一个绝对的“主人”，我们的道德水平会不会更加下降？看过电影《狗镇》的人都知道，绝对的权力绝对会腐蚀人，哪怕这些人原本是在权力的压迫之下，极其卑微和贫困。但当他们有了一种绝对权力——哪怕只是对一个人的绝对权力，他们也就有可能变成恶劣的加害者。也就是说，我们不仅需要考虑智能机器会变成什么，还要考虑人自身会变成什么，然后我们在他们眼里又会变成什么。

ChatGPT母公司OpenAI的首席执行官山姆·阿尔特曼（视觉中国/图）

形之不存，人将焉附？那时，我们不用到处去寻找“本体”，在某种意义上，身体就是我们的“本体”。我们也不必到处去寻找“存在”或“在”，身在人就在。人和机器的对抗不是精神的对抗而是实体的对抗，谁能取胜不在于精神上或意识高度的胜利，而取决于物质上或控制住低端的胜利。那时，“机器语言”将战胜人类的“自然语言”。人以“聊天”始，以“沉默”终。我也一直谈到人与技术的一个基本矛盾，那就是人类飞跃发展的控物能力和落后的自控能力的基本矛盾。但这一矛盾却可能以这样一种方式结束：随着人的控物能力发展到极致，一种新的智能将可能突然超过人的智能而使其归零。

以前那么关心政治的语言学家乔姆斯基现在关心技术；还有那么自信的马斯克却说，作为碳基生物的人可能只是硅基生物的一个引导性小程序。也有人谈到人的“数字永生”，这可能指的是个人的部分生活数据（文字图片视频等等）被永远地储存下来，但是，如果没有数字本主的存在，甚至永远没有关心和注视它的视线，这种“永生”有何意义？对个人如此，对人类也是如此。

据说，从参数规模来看， ChatGPT-4有1万亿个参数，是ChatGPT-3的6倍。网友用ChatGPT参数规模大脑神经元做了类比：ChatGPT-3的规模与刺猬的大脑类似（1750亿个参数）。如果ChatGPT-4拥有1万亿个参数，就接近松鼠大脑的规模了。以这个速度发展下去，也许只需要几年时间，就能达到并超越人类大脑的规模（170万亿参数）。当然，这只是很外在的一个侧面的比较。就像乔姆斯基所说的：人脑绝不是机脑。

上面这些想法都是基于一种底线思维而做出的悲观估计。转变的关键在于通用的人工智能是否会获得“自我意识”进而获得“自主意识”，从而成为一种全面超过人的超级智能。产生和提出问题的人也许还是能够较好地处理和解决这些问题。无论如何，目前ChatGPT还是可以成为我们一种很好的工具，只要我们会做主人，善做主人。

（文章全文近期将刊载于《探索与争鸣》，本文为节选）

何怀宏（郑州大学哲学学院特聘首席教授，北京大学哲学系教授）