前OpenAI研究员因安全顾虑离职,转投Anthropic怀抱

发表时间: 2024-05-30 00:47

划重点:

- ? OpenAI 研究员 Jan Leike 因安全问题离职,现已加入竞争对手 Anthropic。

- ? Anthropic 是一家公益公司,致力于谨慎推进人工智能技术发展

- ? Leike 的加入与 Anthropic 的价值观一致,该公司注重确保智能系统与人类价值观相一致。

站长之家(ChinaZ.com)5月29日 消息:OpenAI 的关键研究员 Jan Leike 本月早些时候因 “安全问题” 而辞职,最近他宣布加入竞争对手 Anthropic,从事 “可扩展的监督、从弱到强的泛化和自动对齐研究”。

Anthropic 是一家公益公司,致力于谨慎推进人工智能技术发展,其创始人是一些离开 OpenAI 的前员工,他们认为 OpenAI 在与微软签订了10亿美元交易后,偏离了其开发更安全、更符合伦理要求的人工智能的使命,过于关注商业利益。对于关注人工智能领域发展的人来说,Leike 加入 Anthropic 并不令人意外。

“我们迫切需要认真对待人工通用智能 (AGI) 的影响。我们必须优先准备好应对这些影响,” 几周前,Leike 在关于他辞职的帖子中如此表示。“只有这样,我们才能确保 AGI 造福于全人类。”Leike 之前在 OpenAI 的 “超对齐” 团队工作,而这与他在 Anthropic 的职责相符,即确保智能系统设计与人类价值观一致。在宣布辞职后,Leike 批评 OpenAI 未能提供足够的计算资源来确保成功。

Anthropic 采用 “宪法型人工智能”,将伦理原则融入人工智能模型的训练中,通过收集公众意见和整合联合国《人权宣言》等来源的概念,正如我之前报道的那样。

OpenAI 的另一位联合创始人 Ilya Sutskever 也离开了该公司,他在本月早些时候离职,并据称自从他在11月发起对 CEO Sam Altman 的未遂政变后一直未出现在办公室。尽管 Sutskever 已经辞职并且尚未表明他的下一步行动,但他的价值观与 Anthropic 一致,这使得 Anthropic 成为他的可能去向之一。