Anthropic 引入前 OpenAI 安全主管,领导全新团队

发表时间: 2024-05-29 04:05

扬-莱克(Jan Leike)是一位领先的人工智能研究人员,本月早些时候,他在公开批评 OpenAI 的人工智能安全方法之前从 OpenAI 辞职,现在他加入了 OpenAI 的竞争对手 Anthropic,领导一个新的"超对齐"团队。

Leike 在 X 上发表文章说,他在 Anthropic 的团队将专注于人工智能安全和安保的各个方面,特别是"可扩展监督"、"弱到强的泛化"和自动对齐研究。

一位熟悉内情的消息人士透露,Leike 将直接向 Anthropic 的首席科学官 Jared Kaplan 汇报工作,而 Anthropic 的研究人员目前正在研究可扩展的监督--以可预测和理想的方式控制大规模人工智能行为的技术--随着 Leike 团队的发展,他们将转而向 Leike 汇报工作。

在许多方面,Leike 的团队听起来与 OpenAI最近解散的 Superalignment 团队有着相似的使命。Leike 共同领导的 Superalignment 团队雄心勃勃,目标是在未来四年内解决控制超级智能人工智能的核心技术难题,但经常发现自己受到 OpenAI 领导层的束缚。

Anthropic 经常试图将自己定位为比 OpenAI 更注重安全。

Anthropic的首席执行官达里奥-阿莫迪(Dario Amodei)曾是OpenAI的研究副总裁,据报道,他在与OpenAI就公司的发展方向(即OpenAI日益增长的商业重心)产生分歧后与OpenAI分道扬镳。阿莫德伊带着许多前OpenAI员工创办了Anthropic公司,其中包括OpenAI的前政策负责人杰克-克拉克(Jack Clark)。