OpenAI高管揭秘：离职背后的故事及未来计划

自 2015 年 12 月 OpenAI 首次宣布成立以来，我一直对它充满期待。宣布成立后，我彻夜未眠，写下了对它意义的想法。甚至在那之前，大约 12 年前，我就决定将自己的一生奉献给与 OpenAI 使命（确保 AGI 造福全人类）相近的事情。

因此，离开我梦寐以求的工作——为 OpenAI 高管和 OpenAI 董事会提供 AGI 准备方面的建议——并不是一个容易的决定，我相信有些人会对此有疑问。我在下面回答了几个这样的问题，希望这能引发对我的离职和各种相关主题的更准确的讨论。

• 我将创办一个非营利组织和/或加入一个现有的组织，并将专注于人工智能政策研究和倡导，因为我认为，如果不齐心协力，人工智能就不太可能尽可能地安全和有益；
• 我感兴趣的研究领域包括人工智能进展的评估/预测、前沿人工智能安全监管、人工智能的经济影响、有益人工智能应用的加速、计算治理和整体“人工智能大战略”；
• 我认为 OpenAI 仍然是开展多种工作的令人兴奋的地方，我很高兴看到团队继续加大对安全文化和流程的投资；
• 我有兴趣与那些愿意为我的下一步行动提供建议或合作的人交谈。

你是谁？你在 OpenAI 做什么？

直到本周五下班前，我都是 OpenAI 的研究员和经理。我在这里工作了六年多，按照 OpenAI 的标准，这已经是相当长的时间了（在这六年里，它成长了很多！）。我最初是政策团队的研究科学家，后来成为政策研究主管，目前是 AGI Readiness 的高级顾问。在此之前，我从事学术工作，在亚利桑那州立大学获得科学与技术人文和社会维度博士学位，然后在牛津大学担任博士后，还在美国能源部政府部门工作过一段时间。

在我看来，我所领导的团队（政策研究和 AGI 准备）已经做了很多非常重要的工作，塑造了 OpenAI 的部署实践，例如启动我们的外部红队计划并推动前几个 OpenAI 系统卡，并在语言模型和人工智能代理的社会影响、前沿人工智能监管、计算治理等主题上发表了许多有影响力的作品。

我非常感谢我在 OpenAI 度过的时光，也非常感谢多年来我的经理们对我的信任，感谢他们赋予我越来越多的责任，感谢我有幸管理过的数十名员工，我从他们身上学到了很多东西，感谢我在各个团队中共事过的无数优秀同事，他们使在 OpenAI 工作成为一次如此迷人和有益的经历。

你为什么要离开？

我决定从行业外部而不是行业内部来影响和推动人工智能的发展。有几点考虑指向了这个结论：

• 机会成本变得非常高：我没有时间研究我认为重要的各种研究课题，在某些情况下，我认为如果我在行业之外研究这些课题，它们的影响力会更大。OpenAI 现在如此引人注目，其成果从许多不同的角度进行审查，因此我很难发表所有对我来说重要的主题的文章。需要明确的是，虽然我不会说我一直同意 OpenAI 对出版物审查的立场，但我确实认为在行业中存在一些出版限制是合理的（而且我已经帮助编写了 OpenAI 政策的几版），但对我来说，这些限制已经太多了。
• 我希望减少偏见：当你身处一个组织并每天与那里的人密切合作时，很难保持公正，而且考虑到经济利益冲突，人们有权质疑来自行业的政策想法。我试图在分析中做到尽可能公正，但我确信其中存在一些偏见，而且在 OpenAI 工作肯定会影响人们对我的言论以及其他行业人士的言论的看法。我认为在政策对话中拥有比现在更多的行业独立声音至关重要，我计划成为其中之一。
• 我在 OpenAI 已经完成了大部分计划：自从担任 AGI 准备高级顾问以来，我开始更明确地思考两种 AGI 准备——OpenAI 是否准备好管理日益强大的 AI 能力，以及世界是否准备好有效管理这些能力（包括通过监管 OpenAI 和其他公司）。关于前者，我已经向高管和董事会（我的建议的受众）充分说明了我认为 OpenAI 需要做什么以及存在哪些差距，而关于后者，我认为我可以在外部做得更有效。

很难说上面哪一个是最重要的，它们以各种方式相关，但每一个都在我的决定中发挥了一定的作用。

那么 OpenAI 和世界在 AGI 准备方面做得如何呢？

简而言之，OpenAI 和其他前沿实验室都没有准备好，世界也没有准备好。

需要明确的是，我不认为这是 OpenAI 领导层中的一个有争议的声明，值得注意的是，这与公司和世界是否在相关时间做好准备是不同的问题（尽管我认为剩下的差距足够大，我将在我的余下职业生涯中一直致力于人工智能政策工作）。

公司和世界是否能够在 AGI 的准备道路上顺利前行是一个复杂的问题，它取决于安全和安保文化如何随着时间的推移而发挥作用（最近董事会成员的增加是朝着正确方向迈出的一步）、监管如何影响组织激励、有关 AI 能力和安全难度的各种事实如何发挥作用，以及其他各种因素。

顺便说一句，我认为 AGI 是一个含义过多的短语，它暗示了一种二元思维方式，实际上并没有多大意义。我的团队最近一直在研究的事情之一是充实这里提到的“AI 级别”框架。我希望 OpenAI 和我能够很快发表一篇相关论文。但现在我只想指出，当我说“为 AGI 做好准备”时，我将其用作“准备好安全、可靠且有益地开发、部署和管理日益强大的 AI 系统”的简写。

人们应该在 OpenAI 工作吗？

在 OpenAI 工作是大多数人希望做的最有影响力的事情之一，所以在很多/大多数情况下，是的。当然，人们拥有不同的技能和机会，很难做出一概而论，但我认为 OpenAI 的每一个角色，以及完成这些角色时所付出的努力，以及对 OpenAI 组织文化的每一个贡献都很重要。在通往更强大的人工智能的道路上，每一个产品的部署都很重要，因为它们会影响规范、人工智能被如何看待和监管等。我很遗憾失去了在这里的一些影响机会，但我希望通过在更大程度上影响更大的生态系统来弥补这一点。

我认为在 OpenAI 从事安全、保障工作，确保我们正在开发的技术能广泛受益，或者从事能力研究和产品工作，同时利用你的影响力推动事情朝着更安全、更可靠、更广泛受益的方向发展，这些都特别有影响力。在 OpenAI 工作的任何人都应该认真对待这样一个事实：他们的行为和言论有助于组织文化，并且可能在组织开始管理极其先进的能力时产生积极或消极的路径依赖。文化在任何组织中都很重要，但在前沿人工智能的背景下尤其重要，因为许多决策不是由法规决定的，而是由公司员工决定的。

正如我上面提到的以及我的决定所表明的那样，我认为某些类型的政策研究最好由外部进行。我认为政策研究可能比安全和保障工作更常出现这种情况，尽管 OpenAI 内部确实需要一些人推动良好的政策立场，并且进行独立的安全和保障研究也很有价值。有关我的一般 AI 政策职业建议的更多信息，请参阅此处。

AGI 准备团队发生了什么事？

经济研究团队直到最近还是 AGI Readiness 的一个子团队，由 Pamela Mishkin 领导，现在将转入 OpenAI 新任首席经济学家 Ronnie Chatterji 的领导下。AGI Readiness 团队的其余成员将分配到其他团队，我正在与 Josh Achiam 密切合作，将一些项目转移到他正在组建的任务协调团队。

下一步你准备做什么？

我计划创办一家新的非营利组织（和/或加入一家现有的非营利组织），并致力于 AI 政策研究和宣传。我可能会做一些研究和宣传的结合，但细节和比例有待确定，这将在未来几个月与潜在的联合创始人和合作者交谈后确定。我的兴趣是全球性的，但我可能会关注我更熟悉的国家，比如美国、可能特别有影响力的政策开放，比如早期的欧盟 AI 法案实施，以及我认为将变得越来越重要的各种多边努力。

您对人工智能政策有何看法？

我认为人工智能的优点已经很大，而且可能会更加显著，缺点也是如此。作为在这个领域工作时间最长的人，看到人们越来越关注成本/收益账簿的一边或另一边，或者有不同的风险优先级等两极分化，我感到非常难过。我的观点是，有很多事情值得担心，也有很多事情值得兴奋，我们不必选择一件事情来关心，我们应该在存在的地方找到共同点。

我认为，人工智能和通用人工智能造福全人类并非自动实现的，需要政府、非营利组织、民间社会和行业的决策者做出慎重选择，并且需要通过积极的公众讨论来实现。值得注意的是，这不仅适用于降低风险，也适用于确保利益公平分配，例如电力和现代医学就是如此。原因有几个，包括但不限于集体行动问题、各种未定价的负面外部性以及数字基础设施访问、财富等的不平等起点，这些都会影响谁默认受益和受损程度。与铁路、电力等一样，企业和政府政策对于确保安全和公平的结果至关重要。

我认为人工智能能力正在迅速提高，政策制定者需要采取更紧急的行动。这是我最希望自己能够独立发展的领域之一，因为当这种说法来自行业时，人们往往会认为这是炒作。如果脱离行业，我将无法获得一些关于最新技术的信息，但我认为公共领域有大量信息可以证明紧迫感是合理的，而且我对如何比迄今为止所做的更有效地整合叙述有一些想法。几年前，我向有效利他主义者（他们对某些人工智能能力的出现需要多长时间非常感兴趣）辩称，预测不一定是他们时间的最佳利用方式。许多应该采取的政策行动与确切的时间表完全无关。然而，我后来改变了主意，认为大多数政策制定者除非认为情况紧急，否则不会采取行动，而且如果情况确实如此或将来可能如此，就需要令人信服地解释为什么会这样。参见：COVID 以及之前有关大流行病防范的许多警告。

我认为，对人工智能能力的定量评估及其推断，结合对某些政策影响的分析，对于真实且令人信服地展示这种紧迫性至关重要。从安全角度衡量前沿模型、衡量人工智能随时间变化的趋势以及评估人工智能对劳动力市场影响的工作越来越多，这方面的工作非常出色，但肯定还需要做更多。

我认为我们还没有掌握所有我们需要的人工智能政策理念，而且许多流传的想法要么很糟糕，要么太模糊，无法自信地判断。在人工智能的国际竞争中尤其如此，我发现现有的提案特别糟糕（例如“尽快与[竞争国家]竞争”）和模糊（例如“人工智能的 CERN”），尽管看到对其中一些想法进行更细致入微的讨论的趋势日益增长令人鼓舞。前沿人工智能安全保障的许多方面也需要创造性的解决方案。

另一方面，我认为我们确实有一些需要的想法，应该在其中一些领域迅速采取行动。这就是为什么我不想把自己局限于研究——在某些情况下，缺乏的只是意识或政治意愿。例如，国会应该大力资助美国人工智能安全研究所，这样政府就有更多能力清晰地思考人工智能政策，以及工业和安全局，这样政府中的某个人就会知道先进的人工智能芯片出口后会发生什么。

您将来有兴趣研究什么样的课题？

我相信，在我有时间再处理一下过去六年之后，我的观点会有所改变，但目前我对以下六个相互关联的主题特别感兴趣。本文并非旨在详尽介绍所有重要问题，而且随着时间的推移，我可能会更加关注这些问题（例如，在未来几个月的探索期之后，深入研究其中的一两个问题）。

人工智能进展的评估和预测

这是清晰思考下面其他主题的关键基础之一。如上所述，这里已经有一些很棒的工作正在进行，但这些工作因不同的激励因素（包括商业和学术因素）而以各种方式扭曲。我认为非营利部门在这个主题上开展更多工作的机会很大。

与此同时，我意识到，我们最终可能会将人工智能评估和预测提升到非常严格的状态，但政策行动仍然会相对缓慢。因此，除了与人们合作以更好地了解人工智能的进展之外，我还希望以一种引起共鸣的方式更好地传达进展速度。我强烈地感觉到AGI在工业界更容易实现，但我不知道具体原因，因为实验室中现有的能力和公众可用的能力之间实际上并没有太大的差距。我有几个假设想探索一下。我有兴趣从历史案例中了解为什么有些政策问题被视为紧急，而有些则不被视为紧急——例如 COVID 和一般的疫情政策、第二次世界大战和希特勒的崛起、气候变化等。

前沿人工智能安全监管

我认为，鉴于许多公司（数十家）很快就会（最多在未来几年内）拥有能够造成灾难性风险的系统，改善前沿人工智能的安全性和保障性是当务之急。鉴于没有太多时间建立全新的机构，我特别感兴趣的是利用现有法律权力采取行动的机会，以及塑造已经批准的立法（如欧盟人工智能法案）的实施。

如上所述，并在本文和类似工作中更详细地解释，公司和政府不一定会默认给予人工智能安全应有的关注（这不是专门针对 OpenAI 的评论，如上所述）。造成这种情况的原因有很多，其中之一是私人利益和社会利益不一致，监管可以帮助减少这种不一致。在安全水平的可信承诺和验证方面也存在困难，这进一步激励了偷工减料：人们认为其他人会偷工减料以获得优势，无法分辨事实真相，或者认为他们以后会改变主意。偷工减料发生在一系列领域，包括防止有害偏见和幻觉输出以及投资于防止即将发生的灾难性风险。需要明确的是，商业激励措施有一些方式可以促进安全，但我认为假设这些激励措施就足够了是不负责任的，特别是对于模糊、新颖、分散和/或低概率/高幅度的安全风险。

我很高兴能够了解公司如何可靠地证明安全性，同时保护有价值且可能被滥用的知识产权。在不泄露敏感信息的情况下证明合规性的难度是军备控制协议的主要障碍，需要创新来解决。这个问题也是有效国内监管的核心。我很高兴与致力于这一问题和其他相关技术 AI 治理问题的人们合作。

虽然有些人认为，应对全球人工智能形势的正确方法是民主国家与专制国家竞争，但我认为，拥有和培养这种零和心态会增加在安全保障方面偷工减料、攻击台湾（鉴于台湾在人工智能芯片供应链中的核心作用）和其他非常糟糕的结果的可能性。我希望看到学术界、企业、民间社会和政策制定者共同努力，找到一种方法，确保西方人工智能发展不会被视为对其他国家安全或政权稳定的威胁，以便我们能够跨越国界，共同解决未来非常棘手的安全保障挑战。

即使西方国家在人工智能领域继续大幅领先中国（我认为这很有可能），专制国家在计算硬件和算法方面的“潜力”足以让它们打造非常复杂的能力，因此合作至关重要。我知道很多人认为这听起来很幼稚，但我认为这些人没有充分考虑过这种情况，也没有考虑到国际合作（通过远见、对话和创新实现）对管理灾难风险有多重要。

人工智能的经济影响

我认为，在未来几年（而不是几十年），人工智能很可能能够实现足够的经济增长，从而让人们能够轻松实现高生活水平的提前退休（假设有适当的政策确保公平分配这些福利）。在此之前，可能会有一段时期，远程完成的任务更容易实现自动化。在短期内，我非常担心人工智能会破坏那些迫切需要工作的人的机会，但我认为，人类最终应该消除为谋生而工作的义务，而这样做是首先建立人工智能和 AGI 的最有力论据之一。有些人可能会长期继续工作，但这样做的动机可能比以前更弱（这是否属实取决于各种文化和政策因素）。这不是我们在政治、文化或其他方面做好准备的事情，需要成为政策对话的一部分。天真地转向后工作世界可能会导致文明停滞（参见：WALL-E），需要对此进行更多的思考和辩论。

还需要对人工智能对税收政策的影响进行创新分析。例如，有人建议征收“机器人税”，但这究竟会产生什么影响？与计算税或人工智能增值税等相比如何？我们是否不应该专门针对人工智能采取任何措施，而应该意识到人工智能使得其他类型的税收变得更加紧迫（例如，如果资本和劳动力的回报出现巨大差异）？

加速推动人工智能有益应用

虽然人工智能的一些好处会逐渐显现，而且正在“自动”显现（通过许多人的辛勤工作），无需政府的太多参与或支持，但我认为这种情况还不够明显。对于业内人士来说，我们距离理想状态还有多远，有限的人工智能素养和有限的资源等因素在多大程度上阻碍了人工智能好处的充分传播。

我认为，即使对于（几乎）只专注于减轻人工智能风险的人来说，认真考虑有益的人工智能应用也是有意义的，因为它们可能会改变不同竞争方对共同利益的看法，从而影响偷工减料的可能性，并且有益的应用也可能在风险缓解方面提供更大的容错空间（例如，通过使社会能够抵御更高级别的人工智能的部署或滥用）。

默认情况下，免费和付费 AI 功能之间的差距也可能越来越大。曾经有一段短暂的时期，它们完全相同（速率限制除外），即 4o 是最好的付费模式，并且也免费提供给用户。但那个时代已经过去了，很快就会成为遥远的记忆，因为各家公司竞相利用测试时间计算来吸引那些愿意支付更多费用的人。我并不是说不应该存在这种差异，而是说我们应该认真考虑什么是正确的水平，以及我们是否可能正在梦游到一个认知富人和穷人的世界。

目前，“人工智能向善”的前景在我看来似乎是出于好意，但效率低下，主要是因为民间社会和政府缺乏技术专业知识，也缺乏良好的规范和理论基础——例如，我们应该对哪些问题进行更多的分析，哪些问题的解决方案应该或不应该通过市场来提出，什么时候为特定问题构建定制的狭义人工智能解决方案更有意义，什么时候正确的方法是补贴现有技术而不是创造新技术，等等。

确实有一些令人兴奋的新想法和框架被提出，但看到围绕这些更大问题的更多辩论也是一件好事（除了促进特定有益应用的一次性举措之外），并且看到“人工智能向善”社区、更注重理论的群体（思考风险敏感型创新、“d/acc”和社会对人工智能影响的适应力等想法（有一些交叉影响，但不够））与那些致力于缩小数字鸿沟的人之间有更多的相互交流也是一件好事。

计算治理

与软件、数据和人才相比，计算硬件具有独特的属性，使其成为 AI 政策的重要焦点：“它可检测、可排除、可量化，并通过高度集中的供应链生产”（引自我撰写的这篇论文）。这令人担忧的是，美国政府负责监督计算机运往海外的部门严重人手不足、资金不足，而且更普遍的是，很少有严肃的政策讨论最终结果是什么（除了偶尔收紧出口管制并要求公司报告其大型数据中心和培训运行情况）。

就学术文献中对计算治理的严肃分析而言，它通常落后于行业发展相当多——例如，对于前沿人工智能公司而言，近年来越来越明显的是，扩大推理能力（而不仅仅是训练能力）可以提高绩效，但公众对这一政策影响的分析才刚刚开始认真进行。更广泛地分配计算能力（以及人工智能的相关好处）的想法，例如通过政府为学术界提供更多计算能力，通常为时已晚，忽视了发展中国家特有的问题，而发展中国家的情况则截然不同。

幸运的是，还有许多令人兴奋的研究问题值得进一步探索，包括上文引用的论文中简要提出的一些政策理念，以及最近关于技术 AI 治理和硬件 AI 治理的论文。但我认为这里可能还有更多令人兴奋的想法值得探索，包括那些可以正面解决下文讨论的 AI 政策中关键权衡的想法。

总体“人工智能大战略”

关于人类如何确保人工智能和 AGI 造福全人类的大局，需要进行更多的辩论。如上所述，我认为目前提供的选项并不十分引人注目，而且很多选项太模糊，无法真正评估。与逐步构建这种愿景的工作相比，明确针对“人工智能大战略”的研究可能会变得空洞，但我至少首先想评估一下情况，然后再从那里开始。

人工智能大战略中的关键问题包括：

• 我们如何解决或缓解去中心化人工智能开发的好处（例如降低权力集中的可能性）与其弊端（例如减少应用于每个人工智能开发“单元”的安全人才数量）之间的权衡？
• 如果有可能就人工智能达成条约或大协议，或者不可能达成，那么企业和国家采取哪些政策行动才有意义？国会采取行动或不采取行动也是如此吗？
• 从人工智能研究的国有化或国际化到当今的自由放任方法，有哪些值得考虑的选择？
• 除了“e/acc 与暂停人工智能”之外，关于人工智能发展的理想速度的严肃对话是什么样的？这种对话既要考虑到持续发展带来的实际风险，也要考虑到持续发展带来的实际好处，并且要考虑现有的实际政策选择？
• 在能源和气候政策等领域，存在（有争议的）定量框架，用于将影响的总体情况提炼为一个数字，例如碳的社会成本，然后可以用于净收益分析。人工智能是否有类似的框架（例如“硅的社会成本”）？

我认为人工智能大战略与上述其他主题之间存在令人兴奋的交集。例如，对大量使用计算（用于训练和/或推理）的可验证安全、硬件实现的多边否决权可以实现两全其美，既能从规模经济中获益，又能分配有效权力。我们需要令人兴奋的高级愿景来值得对此类方法进行技术研究，我们需要一套更好的此类方法，以帮助校准哪些高级愿景是可行的。

____

需要明确的是，这些研究兴趣并不是全新的：我在OpenAI 任职之前和任职期间已经发表了关于所有这些主题的文章，既有独立论文，也有许多系统卡和 OpenAI 博客文章。其中一些与 OpenAI 表达的兴趣非常相关，例如这里。但我认为我将从特定角度看待它们，以及我分享我的发现的速度将与行业中可能的情况大不相同。

您将如何保持独立？

我希望这项工作在研究和建议方面是独立的（并被视为独立的），我也希望自己是这样的，并被别人这样看待，尽管在实践中做到这一点并保持接近人工智能的最先进水平并非易事。我将继续与对人工智能持有不同观点的部门进行建设性交流，包括行业、学术界、民间社会和政府，以及持有不同意识形态的人。

OpenAI 已提出为这项新工作提供资金、API 积分和早期模型访问权限，并向我保证不会对这项支持进行任何出版前审查，对此我表示感谢。不过，我尚未就是否接受这些提议做出任何最终决定，因为它们可能会损害独立性的现实和/或感知。我将与我今后的同事共同做出任何决定（例如，权衡对独立性的实际或感知打击与更强大的某些工作能力）。

关于意识形态独立性，我将（一如既往地）努力与对人工智能的风险和机遇持有各种观点的人合作，并以一种明确表明我不屈从于任何特定意识形态的方式表达自己的观点。话虽如此，我认识到有些人无论如何都会试图以各种方式将我和我的工作归类——例如，鉴于有效利他主义、人工智能安全和人工智能政策社区之间的历史联系，我与有效利他主义社区有很多联系。虽然认识我的人都知道，我也一直是该社区的直言不讳的批评者，并不认为自己是“EA”，但我相信有些人会利用这些联系来驳斥我。同样，有些人可能认为，鉴于我在行业工作的时间，我对行业过于同情，或者我在各方面存在偏见——或者他们可能会根据我未来的联合创始人得出类似的结论。但我至少希望这种分类对于任何密切关注的人来说显然是不公平的，而且我认为置身于行业之外将有助于实现这一目标。

我能帮上什么忙？

我从未创办过非营利组织，因此我真的需要帮助来思考如何做（如果我朝这个方向发展的话）。我有兴趣与可能想要共同创立 AI 政策新举措的人以及可能想要在其现有组织中开展半自主新举措的组织交谈。

如果您对我上述的研究和倡导兴趣感兴趣，请考虑填写此表格，尤其是（但不仅限于）如果您：

• 具有非营利性管理和运营背景（包括筹款），
• 拥有经济学、国际关系或公共政策方面的专业知识，
• 具有很强的研究和写作能力，并对担任各个主题的研究助理职位感兴趣，
• 是人工智能研究员或工程师，或者
• 正在寻找行政助理、研究助理或参谋长职位。

致谢

感谢 Larissa Schiavo、Jason Kwon、Pamela Mishkin、Yo Shavit、Tarun Gogineni、Hannah Wong、Ben Rossen、Ebele Okobi、Robert Trager、Steven Adler、Teddy Lee、Kayla Wood、A. Feder Cooper、Charlotte Stix、Adrien Ecoffet、Gawesha Weeratunga、Haydn Belfield、David Robinson、Sam Altman、Jeffrey Ding、Jenny Nitishinskaya、Tyler Cowen、Brian Christian、George Gor、Boaz Borak、Bianca Martin、Deb Raji、Tim Fist 和 Steve Dowling 对本草稿早期版本的意见。这里表达的观点仅代表我个人观点，并不一定反映 OpenAI 的观点。