全球顶尖AI技术大佬离开OpenAI，开启AI安全新篇章！

2024 年 6 月 20 日，Ilya Sutskever，这位人工智能领域的知名人物，宣布创立新公司 Safe SuperIntelligence Inc（SSI），专注于开发安全的超级智能。

Ilya 曾是 OpenAI 的联合创始人和首席科学家，他的职业生涯充满了成就，从参与创建 AlexNet 到推动 ChatGPT 的成功，每一步都在 AI 领域留下了深刻的印记。

Sutskever 表示，他已经花了多年时间思考 AI 系统的安全问题，并有了一些具体的方法和理念。这一决定不仅仅是因为近年来 AI 技术的快速发展带来的挑战，也是出于对现有 AI 安全方法的不满。现有的 AI 安全措施大多是临时性的，并不能真正解决潜在的安全隐患。

"我们需要从根本上重新思考 AI 系统的设计，使其在本质上更安全、更可靠，而不是依赖不断打补丁的方式来应对安全问题。" Sutskever 强调道。

此次，他与前苹果 AI 高管 Daniel Gross 和前 OpenAI 技术团队成员 Daniel Levy 共同创立 SSI，目标是通过工程和科学的突破，确保超级智能的安全性。新公司旨在开发一个比现有大语言模型（LLM）更通用、扩展性更强的系统。

SSI 的目标是什么？

2024 年 5 月 15 日，Ilya Sutskever 宣布离开 OpenAI，原因之一是对 AI 安全问题的深切关注。他与 OpenAI 首席执行官 Sam Altman 等人的分歧逐渐加深，特别是在公司技术发展方向和资源分配上的矛盾。

Ilya Sutskever 认为，OpenAI 在追求商业化和技术突破的过程中，忽视了 AI 安全的重要性，这促使他决定创立一家专注于安全超级智能的新公司。

SSI( Safe SuperIntelligence Inc.）的目标非常明确，即通过革命性的工程和科学突破，实现安全超级智能。 Ilya Sutskever 表示，SSI 将专注于一个目标、一个产品，即安全超级智能。公司计划通过一支精干的顶尖团队，致力于解决当代最重要的技术难题，确保 AI 系统在提升能力的同时，始终保持安全性。

SSI 公司的联合创始人包括前苹果 AI 高管、Y-Combinator 的合伙人 Daniel Gross 和前 OpenAI 技术团队成员 Daniel Levy。Daniel Gross 表示，他很高兴和荣幸与 Ilya 和 Daniel Levy 开启这一新事业。Daniel Levy 则表示，很难想象在人类历史的这一时刻从事任何其他工作。

SSI 的核心理念是通过革命性的工程和科学突破，实现 AI 系统的安全性和能力的同步提升，而不是依赖临时保护措施。

SSI 致力于开发一个比现有大语言模型（如 GPT-4）更通用的系统。 这意味着新系统不仅在语言处理上表现出色，还能在其他领域如计算机视觉、机器人控制等方面展现强大的能力。Ilya Sutskever 表示，他已经花了多年时间思考这些问题，并有了一些方法，可能很快会有成果。

SSI 的技术方案强调安全性与能力的同步提升。 公司计划通过一支精干的顶尖团队，专注于解决超级智能的安全问题。SSI 的目标是确保在提升 AI 能力的同时，始终保持安全性领先。这种方法不仅能防止 AI 系统失控，还能确保其在各种应用场景中的可靠性和安全性。

Sutskever 的这一举动得到了业内的广泛关注和评价。

OpenAI 的现任 CEO Sam Altman 表示，"Ilya 一直是 AI 安全领域的先行者，他的新公司一定会对整个行业产生深远的影响。" Meta AI 研究院的负责人 Yann LeCun 则认为，"SSI 的成立标志着 AI 安全研究进入了一个新的阶段，我们期待他们能带来更多的创新和突破。"

Ilya Sutskever 为何将 AI 安全视为终身使命？

Ilya Sutskever 的安全执着源于他的早期经历和职业生涯中的关键时刻。作为一名 AI 研究的先锋，Sutskever 亲历了 AI 技术的快速发展及其潜在的风险。

Ilya Sutskever 的早期生活充满了动荡和变化。他出生于前苏联，五岁时随家人移民到耶路撒冷，这段经历使他精通俄语、希伯来语和英语。2002 年，他搬到了加拿大，在多伦多大学开始了他的学术生涯。

在多伦多大学读本科期间，Ilya Sutskever 开始了与 Geoffrey Hinton 的合作，参与了一个名为 “改进随机邻域嵌入算法” 的项目。这次合作为他打开了通往人工智能研究的大门。后来，他在攻读博士学位时正式加入了 Hinton 的团队，进一步深化了他们的合作关系。

2012 年，Ilya Sutskever 与 Geoffrey Hinton 和另一名研究生 Alex Krizhevsky 共同开发了 AlexNet，这个神经网络在图像识别任务中表现出色，远远超过了当时的其他系统。AlexNet 的成功标志着深度学习的爆发，证明了通过大量数据和算力训练的深度神经网络可以解决复杂的模式识别问题。这一突破不仅在计算机视觉领域产生了深远影响，也为自然语言处理等其他领域的进步奠定了基础。

2013 年，Google 收购了 DNNResearch，Ilya Sutskever 随之加入 Google Brain 团队，担任研究科学家。在 Google 期间，他展示了深度学习在数据序列模式识别中的应用，包括单词和句子的处理。他与 Oriol Vinyals 和 Quoc Le 合作创建了序列到序列（Seq2seq）学习算法，并深度参与了 TensorFlow 的研究，还成为了 AlphaGo 论文的众多作者之一。

加入 Google Brain 项目后，他在深度学习和神经网络的实际应用方面积累了丰富的经验。然而，正是在这个过程中，他逐渐意识到 AI 技术可能带来的安全隐患。

“在 Google Brain 工作时，我亲眼见证了 AI 技术的强大潜力，同时也看到了其可能带来的危险。” Sutskever 在一次访谈中说道，“如果我们不采取适当的措施，AI 系统可能会被滥用，甚至对社会造成巨大危害。”

2015 年底，Ilya Sutskever 以 “研究总监” 的头衔加入 OpenAI，领导研究和运营工作。加入 OpenAI 后，Sutskever 进一步加深了对 AI 安全的关注。在他的领导下，OpenAI 发布了一系列大型语言模型（GPT），从 GPT-2 到 GPT-3，这些模型的能力不断提升，证明了这条技术路线的实际可行性。作为 OpenAI 的联合创始人和首席科学家，他在推动 AI 技术发展的同时，也在积极探索如何确保这些技术的安全性和可靠性。

在 OpenAI 工作期间，Sutskever 和他的团队致力于开发安全的 AI 系统，并提出了一系列创新的方法来应对 AI 安全挑战。例如，他们在 GPT-3 的开发过程中，加入了多层次的安全机制，以确保模型在生成内容时不会产生有害信息。这些经历使他更加坚定了通过工程突破来实现 AI 系统安全的信念。

“我们在 OpenAI 的工作展示了 AI 系统可以在安全性和性能之间找到平衡。”Sutskever 表示，“然而，我认为我们可以做得更多，需要更系统化、更彻底的解决方案。”

每一次发布，OpenAI 都在不断提高人们对人工智能的想象力上限。然而，随着 GPT-4 及后续更强大的模型的开发，Ilya Sutskever 和部分 OpenAI 成员开始越来越关注 AI 的可控性问题，特别是超级智能可能带来的负面影响。

Sutskever 对现有 AI 安全措施的不满也是他执着于安全的一个重要原因。他认为，当前许多 AI 安全措施都是临时性的，并不能从根本上解决问题。 这些措施大多是对已有问题的修补，而不是从设计之初就考虑到安全性。

“我们需要从根本上重新思考 AI 系统的设计，使其在本质上更安全、更可靠，而不是依赖不断打补丁的方式来应对安全问题。”Sutskever 强调道。

Sutskever 对 AI 安全的执着不仅源于他对技术的深刻理解，更源于他对未来的愿景和使命感。他相信，AI 技术将在未来几十年内对人类社会产生深远影响，而确保这些技术的安全性是他义不容辞的责任。

“我希望通过我的努力，能够为 AI 技术的安全发展做出贡献，确保 AI 能够真正造福人类，而不是带来新的威胁。”Sutskever 说道。

从历史到现状：AI 安全的演变

AI 技术的快速发展带来了许多便利，但也不可避免地带来了安全风险。早在 AI 技术初期，研究人员就开始关注 AI 系统的安全性问题。随着时间的推移，这一问题变得越来越复杂和紧迫。

2000 年代初期，AI 主要应用于图像识别和语音识别等领域，安全问题相对简单。

进入 2010 年代，随着深度学习技术的突破，AI 开始在更多领域展现出巨大的潜力。然而，伴随而来的安全隐患也逐渐显现。例如，自动驾驶汽车的安全问题、AI 在金融领域的应用带来的风险等。

随着深度学习模型的复杂度增加，对抗性攻击（adversarial attacks）成为一个显著的安全问题。 攻击者可以通过微小的输入扰动，使 AI 系统产生错误的输出。这种攻击揭示了深度学习模型的脆弱性，并促使研究人员开发对抗性防御技术。

近年来，大语言模型（LLM）的发展更是引发了人们对 AI 安全的广泛讨论。这些模型虽然在自然语言处理方面取得了显著进展，但其潜在的安全隐患也不容忽视。比如，LLM 在生成内容时可能会产生有害信息，或者在决策过程中出现不可预测的行为。

为应对这些挑战，研究人员提出了多层次的安全机制。 这些机制包括输入过滤、输出监控、行为约束等，以确保 AI 系统的安全性和可靠性。例如，OpenAI 在 GPT-3 的开发过程中，加入了多层次的安全机制，以减少有害输出的生成。

OpenAI 的 GPT-3 通过多层次的安全机制减少生成有害内容的风险。这些机制包括对输入内容进行过滤、监控输出内容以及在模型内部设置行为约束，以确保其输出符合安全标准。

Ilya Sutskever 等 AI 专家认为，当前的 AI 安全措施大多是被动防御，并不能从根本上解决问题。他们提倡通过工程突破，从设计之初就考虑到安全性，使 AI 系统在本质上更安全、更可靠。

这种主动设计的理念强调从根本上重新思考 AI 系统的设计，使其在本质上具备安全性。例如，研究人员可以在模型训练过程中引入安全约束，或者在模型架构设计中考虑防御对抗性攻击的能力。

SSI 的成立和 Sutskever 的愿景，引发了业界对 AI 安全和系统设计的广泛讨论。许多专家认为，当前的 AI 安全措施大多是被动的，缺乏前瞻性。而 Sutskever 提出的工程突破和内在安全性的理念，则为 AI 安全提供了一种全新的思路。

AI 安全公司 Anthropic 的创始人 Dario Amodei 认为，AI 系统的安全性必须从模型训练阶段开始考虑。他指出，当前的 AI 系统在处理复杂任务时，可能会出现意想不到的行为，因此在训练过程中引入更多的约束和监督机制是必要的。

另一位知名的 AI 研究员 Stuart Russell 也表达了类似的观点。他在一篇论文中提出，未来的 AI 系统应当具备一种“内在安全机制”，即在设计和实现过程中，就要确保其行为符合人类的价值观和利益。这种方法可以有效减少 AI 系统在实际应用中的风险和不确定性。

目前，AI 安全已经成为科技领域的热点话题。学术界、工业界和政府部门都在积极探讨如何确保 AI 技术的安全性和可靠性。2023 年，OpenAI 发布了一份关于 AI 安全的白皮书，详细阐述了当前 AI 安全面临的挑战和可能的解决方案。这份白皮书指出，AI 系统的安全性不仅仅涉及技术层面的问题，还需要考虑伦理和社会层面的影响。

此外，近年来多个国家相继出台了关于 AI 技术的监管政策，旨在规范 AI 技术的发展和应用，确保其安全性。例如，欧盟推出了《人工智能法案》，对高风险 AI 系统的开发和应用提出了严格的要求。美国也在积极推动相关立法，确保 AI 技术在安全、可靠的前提下发展。

相关知识科普：AI 安全的基础概念

AI 安全是一个多学科交叉的领域，涉及计算机科学、网络安全、伦理学等多个方面。其核心目标是确保 AI 系统在开发、部署和运行过程中不会对人类和社会造成危害。AI 安全的主要研究方向包括但不限于：

• 对抗性攻击防护：确保 AI 系统不会被恶意攻击者利用。
• 透明性和可解释性：让 AI 系统的决策过程对用户和开发者透明、可解释。
• 伦理和社会影响：确保 AI 系统的应用符合伦理规范，不会对社会产生负面影响。

相关阅读：

AI 透明度的新篇章！Anthropic 和 OpenAI 连发论文，让理解 AI 成为可能