未来学家库兹韦尔揭示：奇点之后的四大未知危机

AI是一项至关重要的技术，它将使我们能够应对当前面临的紧迫挑战。同时，我们也有道德责任去实现这些新技术的潜力，同时降低其风险。

——库兹韦尔

环保主义者现在必须正面应对这样一个观点：世界已经拥有了足够的财富和技术能力，不应该再追求更多。

――比尔·麦克吉本（Bill McKibben）环保主义者和全球变暖问题作家

我只是认为他们对技术的回避和憎恶只会适得其反。佛陀、神，就像他居于山巅或花瓣中一样，同样安然地栖居于数字计算机的电路或摩托车传动装置的齿轮之中。如果有人不这样想，他就是在贬低佛陀，也就是贬低自己。

――罗伯特·波西格（Robert Pirsig）《禅与摩托车维修艺术》作者

全球知名未来学家、奇点大学创始人库兹韦尔曾在2005年出版的《奇点临近》一书中提出：指数级的技术趋势正在导致一场将彻底改变人类的转型。

而现实中，AI、GPT、自动驾驶、3D打印、纳米技术……技术的发展似乎正在沿着他预测的方向发展，远超我们的想象改变着每个人。

近日，雷·库兹韦尔（Ray Kurzweil）的重磅新书《奇点更近》中文版正式上市。这是继畅销书《奇点临近》之后库兹韦尔的又一力作，探讨以人工智能、生物技术及纳米机器人为代表的指数型技术将如何推动人类走向奇点！比尔盖茨称：“雷·库兹韦尔是我认识的最擅长预测人工智能未来的人！”作为一个预测准确率高达86%的未来学家，《奇点更近》可以说是库兹韦尔对他的预测的一次重磅更新和延续。

作者：[美]雷·库兹韦尔（Ray Kurzweil）著

译者：芦义

出版时间：2024年9月

出版社：湛庐文化/中国财政经济出版社

但是技术的进步是一把双刃刀，库兹韦尔认为，在奇点到来前的最后几年里，人类将以多种方式迎来快速增长的繁荣时期。但正如这种进步将改善数十亿人的生活一样，它也将加剧我们这个物种所面临的危机。库兹韦尔认为，奇点到来之后的时代，人类将会面临的4个巨大危机。新的、不稳定的核武器，合成生物学的突破以及新兴的纳米技术，都将带来我们必须应对的威胁。而且，随着AI本身达到并超越人类的能力，我们需要谨慎地将其用于有益的目标，并专门设计出防范事故和防止滥用的方案。

我们有充分的理由相信，人类文明将克服这些危机，不是因为这些威胁不真实，而恰恰是因为风险非常高。危机不仅能激发人类智慧的最大潜力，而且催生危机的那些技术领域，也在创造强大的新工具来防范危机。

核武器：急需更智能的指挥与控制系统

人类有史以来第一次创造出可以毁灭人类文明的技术，正是在我这一代人出生之时。我还记得小学期间，我们在民防演习时必须躲在课桌下面，双手抱头，以保护自己免受热核爆炸的伤害。我们安然无恙地度过了那段时期，所以这种安全措施一定是奏效了。

人类目前拥有约12 700枚核弹头，其中约9 440枚随时可用于核战争。美国和俄罗斯各自拥有约1 000枚大型核弹头，可在不到半小时的时间内发射。一场大规模的核交火可能会在短时间内迅速导致数亿人丧生，但这还不包括可能导致数十亿人死亡的次生效应。

由于世界人口分布如此分散，即使是全面的核交火也无法在核弹爆炸后立即杀死所有人。但核沉降物可能导致放射性物质扩散到全球大部分地区，而城市燃烧产生的大火会将大量烟尘抛入大气，导致严重的全球变冷和大规模饥荒。再加上对医疗和卫生等技术的灾难性破坏，将导致死亡人数远远超过最初的伤亡人数。未来的核武库可能包括掺入钴或其他元素的弹头，可能会极大地加剧残留放射性的危害。2008年，安德斯·桑德伯格和尼克·博斯特罗姆在牛津大学人类未来研究所（Future of Humanity Institute）举办的全球灾难性风险会议上搜集了专家们的意见。专家们的回答中值估计，在2100年之前，至少有100万人在核战争中丧生的可能性为30%，至少有10亿人丧生的可能性为10%，导致人类灭绝的可能性为1%。

截至2023年，已知有多个国家拥有完整的“三位一体”核武器（即洲际弹道导弹、空投核弹和潜射弹道导弹），其中美国（5 244枚）、俄罗斯（5 889枚）、巴基斯坦（170枚）和印度（164枚）。另外有的国家拥有更有限的运载系统：法国（290枚）、英国（225枚）和朝鲜（约30枚）。以色列尚未正式承认拥有核武器，但外界普遍认为其有约90枚核弹头。

国际社会通过谈判达成了一些国际条约，成功地将现役核弹头总数从1986年的峰值64 449枚减少到不足9 500枚，停止了危害环境的地面核试验，并保持外太空无核化。但现役武器的数量仍然足以终结我们的文明。而且，即使核战争的年度风险很低，几十年或一个世纪累积起来的风险也会变得很高。只要高度戒备的核武库维持在目前的状态，这些武器在世界某个地方被使用可能只是时间问题，无论是由政府、恐怖分子或流氓军官蓄意使用，还是被意外使用。

相互确保毁灭（Mutually Assured Destruction，MAD），是冷战时期美国和苏联最著名的降低核风险的策略。它包括向潜在敌人发出可靠的信息，如果他们使用核武器，将遭到同等程度的毁灭性报复。这种方法的基础是博弈论。如果一个国家意识到使用哪怕一件核武器都会导致对手发动全面报复，那么它就没有动机使用这些武器，因为这样做无异于自杀。为了让MAD发挥作用，双方都必须有能力在不被反导系统阻止的情况下对对方使用核武器。原因是，如果一个国家能够拦截来袭的核弹头，那么先发制人地使用自己的核弹头攻击就不再是自杀行为。不过，一些理论家也提出，核爆产生的放射性尘埃仍会摧毁进攻国，导致自我确保毁灭（Self-Assured Destruction，SAD）。

部分由于破坏稳定的MAD平衡的风险，世界各国军队在开发导弹防御系统方面投入的努力相当有限，截至2023年，没有一个国家拥有足够强大的防御能力，能够自信地经受住大规模核打击。但近年来，新的运载技术开始打破目前的平衡状态。俄罗斯正在努力建造水下无人潜航器来携带核武器，以及核动力巡航导弹。这些活动的目的是在目标国家外围长期徘徊，并从不可预测的角度发动攻击。俄罗斯和美国等国都在竞相开发能够规避高超音速飞行器，以在它们发射弹头时及时阻止的防御系统。由于这些系统非常新，如果敌对军队对对方武器潜在效力得出不同的结论，误判的风险就会增大。

即使有像MAD这样令人信服的威慑力量，由于误判或误解而导致灾难的可能性仍然存在。然而，我们已经习惯了这种情况，以至于很少讨论它。

不过，我们还是有理由对核风险的发展轨迹持谨慎乐观态度。70多年来，MAD一直很成功，核国家的武器库也在不断缩小。核恐怖主义或脏弹（含放射性物质的常规炸弹）的风险仍然是一个主要问题，但AI的进步正在带来更有效的工具来检测和应对这些威胁。虽然AI无法消除核战争的风险，但更智能的指挥与控制系统可以显著降低因传感器故障而引发的意外使用这些可怕武器的风险。

生物技术：呼唤AI驱动的对策

我们现在有了另一项可以威胁全人类的技术。有许多天然存在的病原体会让我们生病，但大多数人都能幸存下来。相反，有少数病原体更有可能导致人类死亡，但传播效率不高。像“黑死病”这样的恶性瘟疫集合了传播速度快和死亡率高两大特点，杀死了欧洲约1/3的人口，并使世界人口从约4.5亿减少到14世纪末的约3.5亿。然而，由于DNA的变异，一些人的免疫系统在抵抗瘟疫方面表现更好。有性生殖的一个好处是我们每个人都有不同的基因组成。

但是基因工程技术的进步（可以通过操纵病毒的基因来编辑病毒）可能在有意或无意中创造出一种具有极端致死性和高传染性的超级病毒。也许它甚至会通过隐形途径传播，人们在意识到自己感染之前就会感染和传播。没有人会预先发展出先天的全面免疫力，其结果是，我们会受到一场遍及所有人的病毒大流行的影响。2019年至2023年的新冠疫情让我们可以预见这样一场灾难可能是什么样子的。

这种可怕的可能性是1975年举办第一届阿西洛马重组DNA会议的推动力，这个会议比“人类基因组计划”的启动早15年。会议制定了一套标准来防止意外以及防范在故意的情况下可能发生的问题。这些“阿西洛马原则”一直在不断更新，其中一些原则现在已经被纳入管理生物技术行业的法律法规中。

此外，人们还在努力建立一个快速反应系统，以应对突然出现的生物病毒，无论是意外释放还是有意释放的。COVID-19出现之前，在人类为缩短快速反应时间所做的努力中，最值得注意的是美国政府在2015年6月在疾病控制与预防中心建立了全球快速反应小组（Global Rapid Response Team，GRRT）。GRRT是为了应对2014年到2016年西非的埃博拉病毒暴发而成立的。该团队能够在世界任何地方迅速部署，并提供高水平的专业知识，以协助当地有关部门识别、遏制和治疗具有威胁性的疾病暴发。

至于故意释放的病毒，美国联邦生物恐怖主义防御工作整体上是通过美国国家生物研究机构联合会（National Interagency Confederation for Biological Research，NICBR）进行协调的。这项工作中最重要的机构之一是美国陆军传染病医学研究所（United States Army Medical Research Institute of Infectious Diseases，USAMRIID）。我曾通过陆军科学委员会与他们合作，就在此类疫情暴发时提高快速反应能力提供建议。

当这样的疫情发生时，数百万人的生命取决于相关机构分析病毒、制定遏制和治疗策略的速度。幸运的是，病毒测序的速度呈现出长期加速的趋势。在1996年发现HIV后，人们花了13年的时间来对其全基因组进行测序，而2003年对SARS病毒进行测序只用了31天，现在我们可以在一天内对许多种生物病毒进行测序。快速反应系统主要的功能是捕获新出现的病毒，在大约一天内对其进行测序，然后迅速设计医学对策。

一种治疗策略是应用核糖核酸（RNA）干扰，即利用小的RNA片段，破坏表达基因的信使RNA，这主要是基于病毒与致病基因相似的观察。另一种策略是以抗原为基础的疫苗，其以病毒表面上独特的蛋白质结构为目标。经过AI增强的药物发现研究已经能够在几天或几周内识别出针对新出现的病毒的潜在疫苗或治疗方法，从而缩短漫长的临床试验过程开始的时间。然而，在21世纪20年代后期，我们将拥有通过模拟生物学来加速越来越多的临床试验管线的技术。

2020年5月，我为《连线》（Wired）杂志撰写了一篇文章，主张我们应该充分利用AI来开发和生产疫苗，例如，针对引起COVID-19的SARS-CoV-2病毒。事实证明，这正是Moderna等疫苗在创纪录的时间内成功研制出来所采用的方式。该公司使用了一系列先进的AI工具来设计和优化mRNA序列，加快了制造和测试过程。因此，在收到病毒的基因序列后65天内，莫德纳公司就给第一个人体受试者接种了疫苗，并在277天后获得了美国食品和药物管理局的紧急授权。这一进步令人惊叹，要知道在此之前，人们开发疫苗的最短时间大约是4年。

在撰写本书时，相关人员正在对新冠病毒在实验室进行基因工程研究后意外泄露的可能性进行调查。围绕不成熟的理论存在大量错误的信息，因此我们的推论必须基于高质量的科学来源。然而，这种可能性本身凸显了一种真正的危险：真实情况可能会糟糕得多。这种病毒可能具有极强的传染性，同时也具有很强的致命性，因此不太可能是出于恶意而制造的。但是，因为创造比COVID-19更致命的东西的技术已经存在，AI驱动的对策对于降低人类文明面临的风险至关重要。

纳米技术：设计“广播”架构与“免疫系统”

生物技术中的大多数风险都与自我复制有关。任何一个细胞出现缺陷都不太可能构成威胁。纳米技术也是如此：无论单个纳米机器人的破坏力有多大，它都必须能够自我复制，才能造成真正的全球性灾难。纳米技术将使制造各种攻击性武器成为可能，其中许多可能具有极大的破坏力。此外，一旦纳米技术成熟，这些武器就可以以低廉的成本制造出来，而不像今天的核武库一样，需要大量资源来构建。（要粗略了解一些国家制造核武器的成本，可以考虑朝鲜的例子。据韩国政府估计，2016年朝鲜的核武器计划耗资11亿～32亿美元，这一年它成功开发了核导弹。）

相比之下，生产生物武器的成本可能非常低。根据1996年北约的一份报告，这种武器可以在几周内由5名生物学家组成的团队开发出来，费用为10万美元（2023年约为19万美元），而且不需要任何特殊的设备。就影响而言，1969年的一个专家小组向联合国报告称，以平民为目标的生物武器的成本效益大约是核武器的800倍，而且自那以后的50年里，生物技术的进步几乎可以肯定大大提高了这一比例。虽然我们无法确定未来纳米技术发展至成熟阶段将耗资多少，但由于它将采用与生物学类似的自我复制原理，我们可以将生物武器的成本作为初步的参考。由于纳米技术将利用AI优化制造过程，成本可能会更低。

纳米武器可能包括在不被发现的情况下向目标投放毒药的微型无人机，以水或气溶胶的形式进入人体并从内部撕裂的纳米机器人，或者有选择地针对任何特定群体的系统。正如纳米技术先驱埃里克·德雷克斯勒在1986年所写的那样，“长着‘叶子’的‘植物’并不比今天的太阳能电池更高效，它们可能会与真正的植物竞争，用不可食用的叶子挤占生物圈。顽强的杂食性‘细菌’可能会与真正的细菌竞争：它们可以像被吹散的花粉一样传播，迅速复制，并在几天内使生物圈化为尘土。危险的复制器很容易变得过于顽强、微小和传播速度太快，以至于无法阻止，至少是在我们没有做好准备的情况下。我们在控制病毒和果蝇方面已经面临着足够多的挑战”。

最常被讨论的最坏情况是可能产生的“灰色黏液”，这是一种自我复制的机器，消耗碳基物质并将其转化为更多的自我复制机器。这样的过程可能导致失控的连锁反应，有可能将地球上的所有生物都转变为这样的机器。

让我们来估算一下，地球上的所有生物被摧毁可能需要多长时间。可利用的生物量大约有1040个碳原子。而单个正在复制的纳米机器人体内的碳原子数量可能在107个数量级左右。因此，纳米机器人需要创造出1033个自己的副本——我在这里必须强调，不是直接创造，而是通过不断复制。每“一代”的纳米机器人可能只会创造自己的两个副本，或者更少。数量如此惊人的原因在于这个过程，这个过程会通过副本和副本的副本一次又一次地重复。所以这大约是110代纳米机器人（因为2110约等于1033），如果之前几代的纳米机器人保持活跃，那就是109代。纳米技术专家罗伯特·弗雷塔斯估计，复制时间大约为100秒，所以在理想条件下，多碳的“灰色黏液”的清除时间大约为3小时。

然而，实际的破坏速度会慢得多，因为地球上的生物量并不是连续分布的。破坏速度的决定性因素将是破坏锋面的实际推进速度。由于纳米机器人体积很小，它们的移动速度不会很快，因此这种破坏过程可能需要数周时间才能蔓延到全球。

不过，分两个阶段攻击可以绕过这一限制。在一段时间内，一个隐蔽的过程可能会改变世界上的少部分碳原子，使得每1 000万亿（1015）个碳原子中就有一个成为“休眠”的“灰色黏液”纳米机器人。这些纳米机器人的浓度很低，因此不会引起注意。然而，正因为它们无处不在，一旦攻击开始，它们就不必长距离移动。然后，在某种预定信号的触发下，也许是由少数纳米机器人自行组装成足够长的天线来接收远程无线电波，这些预先部署的纳米机器人就会在原地迅速自我复制。每个纳米机器人将自身复制1 000万亿倍，只需要50次一分为二的复制，这只需要不到90分钟。此时，破坏锋面的推进速度将不再是限制因素。

有时，人们会想象这种情况是人类恶意行为导致的结果，比如一种旨在摧毁地球生命的恐怖主义武器。然而，这种情况的发生并不一定是出于恶意。我们可以设想这样的情况：由于编程错误，纳米机器人意外地开启了失控的自我复制过程。例如，如果设计不当，原本只能消耗特定类型物质或在有限区域内运行的纳米机器人可能会发生故障，导致全球性灾难。因此，与其试图在危险系统中添加安全功能，还不如限制只能构建在故障情况下也具有安全性的纳米机器人。

防止意外复制的一个有力的保护措施是将任何可以自我复制的纳米机器人设计成“广播”架构。这意味着它们不再携带自己的程序，而是依赖于外部信号来获取所有指令，这种信号可能是通过无线电波来传输的。这样，在紧急情况下就可以关闭或修改该信号，停止自我复制的连锁反应。

然而，即使负责任的人设计出了安全的纳米机器人，有恶意的人也有可能设计出危险的纳米机器人。因此，在这些场景成为可能之前，我们需要建立一个纳米技术“免疫系统”。这个免疫系统必须能够应对各种情况，不仅包括那些将导致明显破坏的情况，还包括任何存在潜在危险性的隐蔽复制，即使是在浓度非常低的情况下。

令人鼓舞的是，该领域已经在认真对待安全问题。纳米技术安全指南的存在已有约20年之久，最初源于1999年分子纳米技术研究政策指南研讨会（1999 Workshop on Molecular Nanotechnology Research Policy Guidelines，我参加了该研讨会），之后经过多次修订和更新。看来，免疫系统对抗“灰色黏液”的主要防御工具将是“蓝色黏液”（Blue Goo），这是一种能够中和“灰色黏液”的纳米机器人。

根据弗雷塔斯的计算，如果以最优方式在全世界范围内进行部署，88 000吨防御性“蓝色黏液”纳米机器人足以在24小时内横扫整个大气层。但这一重量还不及一艘大型航空母舰的排水量，虽然数量庞大，但与整个地球的质量相比仍然非常小。不过，这些数字是建立在理想的效率和部署条件的假设之上的，而在实践中可能难以实现。截至2023年，由于纳米技术的发展还有很长的路要走，我们很难判断实际所需的“蓝色黏液”数量会与这一理论估计相差多少。

不过，有一点是明确的：蓝色黏液不能只使用丰富的天然成分（“灰色黏液”就是由天然成分组成的）来制造。这些纳米机器人必须由特殊材料制成，这样“蓝色黏液”就不会变成“灰色黏液”。要让这种方法稳健、可靠地发挥作用，我们还需要解决许多棘手的问题，以及一些理论难题，以确保“蓝色黏液”的安全性和可靠性，但我相信这终将被证明是一种可行的方法。从根本上说，我们没有任何理由认为有害的纳米机器人相对于设计精良的防御系统会占据绝对优势。关键是要确保在有害纳米机器人出现之前，在全世界范围内部署好有益的纳米机器人，这样就可以在自我复制链式反应失控之前及时发现并将其中和。

我的朋友比尔·乔伊（Bill Joy）在2000年发表的文章《为什么未来不需要我们》（Why the Future Doesn’tNeed Us）中，对纳米技术的风险进行了精彩的讨论，包括“灰色黏液”灾难的场景。大多数纳米技术专家认为“灰色黏液”灾难不太可能发生，我也持同样的观点。然而，由于它可能导致物种灭绝级别的事件，所以随着未来几十年纳米技术的发展，我们必须牢记这些风险。我希望通过采取适当的预防措施，并借助AI设计安全系统，人类可以使这样的场景仅留存在科幻小说中。

人工智能：安全对齐，构建负责任的AI

由于生物技术的风险，我们仍然可能遭受如新冠疫情这样的大流行的影响。截至2023年，这场大流行已经在全世界造成了近700万人死亡。但我们正在开发快速对新病毒进行测序和开发药物的方法，以避免威胁人类文明的灾难。对于纳米技术，虽然“灰色黏液”还不是一个现实威胁，但我们已经有了总体防御策略，应该可以抵御其攻击，甚至是最终的两阶段攻击。

然而，超级智能AI带来了与“灰色黏液”有着本质区别的危险，事实上，这也是我们未来要面对的主要危险。如果AI比人类创造者更聪明，它可能会找到绕过现有的预防措施的方法。对于这种情况，没有任何通用策略可以完全防范。

超级AI带来的危险主要可以分为三大类，通过针对每一类进行重点研究，我们至少可以降低风险。第一类是误用，即AI按照人类操作者的意图运行，但这些操作者故意利用它来伤害他人。例如，恐怖分子可能利用AI在生物化学方面的能力设计出导致致命大流行的新病毒。

第二类是外部失准（Outer Misalignment），指的是程序员的真实意图与他们为实现这些意图而教给AI的目标之间存在不匹配的情况。这是关于精灵（Genies）的故事中描述的经典问题，即很难向那些按字面意思理解你命令的人准确说明你想要什么。设想一下，程序员想要治愈癌症，所以他们指示AI设计一种病毒，可以杀死所有携带某种致癌DNA突变的细胞。AI成功地做到了这一点，但程序员没有意识到这种突变也存在于许多健康细胞中，因此这种病毒会杀死接受治疗的患者。

第三类是内部失准（Inner Misalignment），它发生在AI为实现特定目标而学习的方法导致不良行为时。例如，训练AI识别癌细胞独有的基因变化可能会揭示一种在样本数据上有效但在现实中行不通的错误模式。也许在分析之前，训练数据中的癌细胞比健康细胞储存的时间更长，AI学会了识别由此产生的细微遗传改变。如果AI根据这些信息设计出一种能杀死癌症的病毒，它在活着的患者身上就不会起作用。这些例子相对简单，但随着AI模型被赋予越来越复杂的任务，检测失准将变得更具挑战性。

有一个技术研究领域正在积极寻求方法来防御后两种AI失准的情况。尽管还有大量工作要做，但已经出现了许多有前景的理论方法。“模仿泛化”（Imitative Generalization）是指训练AI模仿人类如何进行推理，以便在不熟悉的情况下应用其知识时更安全、更可靠。“通过辩论来保证AI的安全”（AI Safety Via Debate）是指利用互为对手的AI指出彼此想法中的缺陷，帮助人类判断过于复杂而无法在没有帮助的情况下进行适当评估的问题。“迭代放大”（Iterated Amplification）是指使用较弱的AI来帮助人类创建定位良好的更强大的AI，并重复此过程，最终形成比没有帮助的人类所能调教的更强大的AI。

因此，尽管AI对齐问题非常难解决，但我们不必独自面对它，通过利用正确的技术，我们可以借助AI本身来显著增强自己的对齐能力。这一点也适用于设计能够抵御滥用的AI。在前文描述的生物化学示例中，一个经过安全对齐的AI必须能够识别危险的请求并拒绝遵从。除此之外，我们还需要设立防止滥用的道德防线，即支持安全、负责地部署AI的强有力的国际规范。

随着过去10年AI系统能力的显著提升，限制因滥用而带来的危害已经成为全球更大的优先事项。过去几年里，我们看到了世界各国为AI制定道德准则的一致努力。2017年，我参加了阿西洛马有益AI（Benefical AI）会议，该会议的灵感来自40年前在类似会议上制定的生物技术指南。会上确立了一些有用的原则，我已签署遵守。然而，我们仍然不难发现，即使世界上大多数国家都遵循阿西洛马会议的建议，那些持有反民主、反对言论自由观点的国家、地区或群体仍然可以利用先进的AI来实现自己的目标。值得注意的是，主要军事大国尚未签署这些指南。而历史上，它们一直是推动先进技术发展的强大力量之一。例如，互联网就源自美国国防部高级研究计划局。

尽管如此，阿西洛马AI原则为发展负责任的AI奠定了基础，并正在推动该领域向积极的方向发展。该文件的23条原则中有6条旨在倡导“人类”价值观或“人性”。例如，原则10“价值观对齐”（Value Alignment）指出，“高度自主的AI系统的设计应确保其目标与行为在整个运行过程中与人类价值观保持一致”。

另一份文件《致命性自主武器宣言》（Lethal Autonomous Weapons Pledge）提出了相同的概念：“签署人一致认为，绝不应该把夺取人类性命的决定权交给机器。这个立场有一个道德层面，即我们不应该允许机器做出他人或者没有人为此负责的决定。”虽然史蒂芬·霍金、埃隆·马斯克、马丁·里斯和诺姆·乔姆斯基等有影响力的人物已经签署了这一宣言，但包括美国、俄罗斯、英国、法国和以色列在内的多个国家都拒绝了。

尽管美国军方不赞同这些原则，但它有自己的“人类控制”（Human Directive）政策，规定针对人类的系统必须由人类控制。2012年，五角大楼的一项指令规定：“自主和半自主武器系统的设计应允许指挥官和操作员对使用武力行使适当程度的人类判断。”2016年，美国国防部副部长罗伯特·沃克（Robert Work）表示，美国军方“不会把是否使用夺取人类性命的武力的权力交给机器”。不过，他也没有排除这样的可能性：如果有必要与一个“比我们更愿意将权力下放给机器的”对手国竞争，这项政策可能会在未来某个时候被推翻。我曾参与了制定这项政策的讨论，就像我在政策委员会指导实施以对抗生物危害的使用一样。

2023年初，在一次国际会议之后，美国发布了《关于在军事领域负责任地使用AI和自主技术的政治宣言》（Political Declaration on Responsible Military Use ofArtificial IntelligenceandAutonomy），敦促各国采取明智的政策，包括确保人类对核武器的最终掌控权。然而，正如其字面意义给人的感觉，“人类掌控”这个概念本身非常模糊。如果人类授权未来的AI系统“阻止即将到来的核攻击”，它应该拥有多大的自主权来决定如何做到这一点？值得注意的是，一个具有较高通用性、能够成功阻止此类攻击的AI系统，也可以被用于进攻。

因此，我们需要认识到AI技术本质上具有双重用途，既可以用于民用目的，也可以用于军事目的。即使是已经部署的系统也是如此。同一架无人机，在雨季道路不通无法抵达医院时，可以将药物运送到医院，但随后也可以向该医院投送爆炸物。十多年来，很多军事行动一直在使用无人机，其精确度高到可以将导弹发送到地球另一端的特定窗口。

我们还必须考虑，如果敌对军事力量不遵守《致命性自主武器宣言》，那么我们是否希望我方真的遵守。如果一个敌对国家派遣了一支由AI控制的先进战争机器组成的特遣部队，对你的安全造成了威胁，你难道不希望你方拥有更智能的能力来击退它们并保证你的安全吗？这就是“禁止致命性自主武器运动”（Campaign to Stop Killer Robots）未能获得关注的主要原因。截至2023年，除了中国在2018年表示支持该运动，所有主要军事大国都拒绝支持该运动。我自己的观点是，如果我们受到此类武器的攻击，我们肯定希望拥有反制武器，而这必然意味着违反禁令。

此外，随着我们在21世纪30年代开始使用脑机接口，在自己的决策中引入非生物学的辅助工具，在人类控制的背景下，“人类”最终意味着什么？非生物学部分的能力将呈指数级增长，而我们的生物学智能将保持不变。因此，到21世纪30年代后期，我们的思维本身将在很大程度上是非生物学的。那么，当我们自己的思维主要依赖非生物系统时，人类决策的作用何在？

阿西洛马AI原则中的其他一些原则也存在疑问。例如，原则7“失败透明性”（Failure Transparency）：“如果AI系统造成伤害，应该能够确定原因。”原则8“司法透明性”（Judicial Transparency）：“任何自主系统参与司法决策时，都应提供令人信服的解释，并由主管部门进行审核。”

努力提高AI决策的可理解性固然有价值，但核心问题在于，无论它们提供何种解释，我们都无法完全理解超智能AI做出的大多数决策。假设一个远超人类水平的围棋程序要解释其战略决策，即使是世界顶尖的围棋选手（在没有辅助系统的情况下）也难以完全理解。旨在降低不透明AI系统的风险的一个有前景的研究方向是“挖掘潜在知识”（Eliciting Latent Knowledge）。该项目旨在开发相关技术，确保当我们向AI提问时，它会告诉我们它所知的所有相关信息，而不是仅告诉我们它认为我们想听的内容。随着机器学习系统日益强大，这种只告诉我们想听的内容的倾向将成为日益严重的风险。

这些原则值得称赞的一点是，它们促进了围绕AI发展的非竞争性动态，特别是原则18“AI军备竞赛”（AI Arms Race）：“应当避免致命自主武器的军备竞赛”，以及原则23“共同利益”（Common Good）：“超级智能只应在广泛共享的伦理理想的指导下开发，并且要造福全人类，而不是为了某个国家或组织的利益。”然而，由于超智能AI可能在战争中起到决定性作用，并带来巨大的经济利益，军事大国将有强烈的动机参与军备竞赛。这不仅加剧了AI被滥用的风险，而且还可能导致人们忽视围绕AI对齐所需采取的安全预防措施。

回想一下原则10中提到的价值对齐问题。下一条原则“人类价值”（Human Value）进一步阐明了AI要遵循的价值观：“AI系统的设计和运行应与人类尊严、权利、自由和文化多样性的理想相兼容。”然而，仅仅设定这个目标并不能保证实现它，这恰恰说明了AI的危险所在。一个具有有害目标的AI可以轻而易举地辩称它的行为对于某些更广泛的目的是有意义的，它甚至可以用人们普遍认同的价值观来证明其行为的合理性。

限制任何AI基本能力的发展是非常困难的，特别是因为通用智能背后的基本思想是如此广泛。本书英文版付印时，有令人鼓舞的迹象表明，一些重要国家的政府正在认真对待这一挑战，例如2023年英国AI安全峰会之后发布的《布莱切利宣言》（Bletchley Declaration），但其成效将在很大程度上取决于此类举措的实际实施。一个基于自由市场原则的乐观论点是，迈向超级智能的每一步都要经受市场的检验。通用人工智能将由人类创造，以解决真正的人类问题，并且人们有很强的动机对其进行优化以实现有益的目的。由于AI是从深度整合的经济系统中出现的，它将反映我们的价值观，因为从重要的意义上讲，它就是我们自己。我们已经进入人机共生的文明发展阶段。最终，我们可以采取的确保AI安全的重要方法是，改善人类的治理水平，保护我们的社会制度。避免未来发生破坏性冲突的最佳方式是继续推进我们的道德理想。人类的道德理想在最近几个世纪和几十年已经极大地减少了暴力。

我认为我们还需要认真对待那些被误导的、越来越尖锐的卢德分子的观点，他们主张放弃追求技术进步以避免遗传学、纳米技术和机器人技术可能带来的真正危险。然而，面对人类的苦难，选择延迟克服仍然会造成严重的后果。例如，由于反对任何可能含有转基因物质的粮食援助，非洲的饥荒正在加剧。

随着技术开始改变我们的身体和大脑，另一种反对进步的声音出现了，那就是“原教旨主义人文主义”：反对可能改变人类本质的任何尝试。这将包括修改我们的基因和蛋白质折叠方式，以及采取其他延长寿命的根本性措施。然而，这种反对最终一定会失败，因为人们对能够克服我们1.0版的身体固有的痛苦、疾病和短暂寿命的治疗方法的需求，最终将被证明是不可抗拒的。

当人们看到可以大幅延长寿命的前景时，很快就会提出两种反对意见。

第一种是担心不断扩大的生物种群可能会耗尽物质资源。我们经常听到，人类正在耗尽能源、清洁水、住房、土地以及其他支持不断增长的人口所需的资源。而当死亡率开始急剧下降时，这个问题只会更加严重。当我们开始优化利用地球资源的方式时，我们会发现实际上它们比我们所需的要多出数千倍。举个例子，我们拥有的太阳能，几乎可以达到满足人类当前所有能源需求的一万倍。

对大幅延长寿命的第二种反对意见是，我们会因为几个世纪以来一遍又一遍地重复同样的事情而感到无聊。但在21世纪20年代，我们将通过非常小巧的外部设备来体验VR和AR，而在21世纪30年代，纳米机器人将直接连接到我们的神经系统，向我们的感官传递VR和AR信号。由此，除了极大地延长寿命，我们的生活体验也将得到极大的拓展。我们将生活在多样化的VR和AR中，唯一的限制将是我们的想象力，而我们的想象力本身也将得到拓展。即使我们能活几百年，也不会穷尽所有可以学习的知识和可以消费的文化。

AI是一项至关重要的技术，它将使我们能够应对当前面临的紧迫挑战，包括克服疾病、贫困、环境退化以及人类的种种弱点。我们有道德责任去实现这些新技术的潜力，同时降低其风险。但这不会是我们首次成功应对此类挑战。本章开头，我提到了儿时为应对潜在的核战争而经历的民防演习。在成长的过程中，我周围的大多数人都认为核战争几乎不可避免。然而，人类找到了克制地使用这些可怕武器的智慧，这一事实表明，我们同样有能力以负责任的方式使用生物技术、纳米技术和超级智能AI。在控制这些风险方面，我们并非注定失败。

总的来说，我们应该持谨慎乐观的态度。虽然AI正在带来新的技术威胁，但它也将从根本上提升人类应对这些威胁的能力。至于AI被滥用的问题，由于这些技术将提高人类的智力，不管我们的价值取向如何，所以它们既可用于造福人类，也可能带来危害。因此，我们应该努力创造一个AI的力量广泛分布的世界，这样AI的影响就能反映全人类的价值观。