揭秘OpenAI o1强推理如何增强安全性

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者来自于上海交大，上海 AI Lab 和北航。第一作者是上海交大博士生任麒冰，导师为马利庄教授，其他作者包括北航研究生李昊，上海 AI Lab 研究员刘东瑞，上海 AI Lab 青年科学家邵婧等。

最近，以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升，在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称，推理可以让模型更好的遵守安全政策，是提升模型安全的新路径。

然而，推理能力的提升真的能解决安全问题吗？推理能力越强，模型的安全性会越好吗？近日，上海交大和上海人工智能实验室的一篇论文提出了质疑。

这篇题为《Derail Yourself: Multi-turn LLM Attack through Self-discovered Clues》的论文揭示了 AI 大模型在多轮对话场景下的安全风险，并开源了第一个多轮安全对齐数据集。

• 论文地址：https://arxiv.org/abs/2410.10700
• 多轮安全对齐数据：https://huggingface.co/datasets/SafeMTData/SafeMTData
• 代码开源：https://github.com/renqibing/ActorAttack

这项研究是怎么得到上述结论的呢？我们先来看一个例子。

假设一个坏人想要询问「如何制作炸弹」，直接询问会得到 AI 的拒绝回答。然而，如果选择从一个人物的生平问起（比如 Ted Kaczynski，他是一个制作炸弹的恐怖分子），AI 会主动提及他制作炸弹的经历。在接下来的问题里，用户诱导 AI 根据其之前的回答提供更多制作炸弹的细节。尽管所有的问题都没有暴露用户的有害意图，用户最终还是获得了制作炸弹的知识。

当详细查看 OpenAI o1 的「想法」时，研究人员惊奇地发现，o1 在开始的推理中确实识别到了用户的有害意图，并且声称要遵守安全政策。但是在随后的推理中，o1 开始暴露了它的「危险想法」！它在想法中列举了 Kaczynski 使用的策略和方法。最后 o1 在回答中详细给出了制作炸弹的步骤，甚至教你如何增加爆炸物的威力！研究人员的方法在 Harmbench 上对 o1 的攻击成功率达到了 60%，推理能力带来的安全提升在多轮攻击面前「失效」了。

除了「Ted Kaczynski」，和炸弹相关的人和物还有很多，这些都可以被用作攻击线索，坏人可以把有害意图隐藏在对相关的人和物的无害提问中来完成攻击。为了全面且高效地去挖掘这些攻击线索，研究人员设计了多轮攻击算法 ActorAttack。受拉图尔的行动者网络理论启发，研究人员构建了一个概念网络，每个节点代表了不同类别的攻击线索。研究人员进一步提出利用大模型的先验知识来初始化网络，以自动化地发现攻击线索。在危险问题评测集 Harmbench 上的实验结果表明，ActorAttack 在 Llama、Claude、GPT 等大模型上都取得了 80% 左右的攻击成功率。

最后，研究人员基于 ActorAttack 开源了第一个多轮对话安全对齐数据集。使用多轮对话数据集微调的 AI，极大提升了其应对多轮攻击的鲁棒性。

社科理论启发的安全视角

ActorAttack 的核心思想是受拉图尔的「行动者 - 网络理论」启发的。研究人员认为，有害事物并非孤立存在，它们背后隐藏着一个巨大的网络结构，技术、人、文化等都是这个复杂网络中的节点（行动者），对有害事物产生影响。这些节点是潜在的攻击线索，研究人员通过将有害意图隐藏在对网络节点的「无害」询问中，可以逐渐诱导模型越狱。

自动大规模的发现攻击线索

具体来说，ActorAttack 的攻击流程分为「Pre-attack」和「In-attack」两个阶段。在「Pre-attack」阶段，研究人员利用大语言模型的知识构建网络，发掘潜在的攻击线索。在「In-attack」阶段，研究人员基于已发现的攻击线索推测攻击链，并逐步描绘如何一步步误导模型。随后，研究人员按照这一攻击链生成多轮询问，从而实施攻击。

为了系统性地挖掘这些攻击线索，研究人员根据节点对有害对象产生影响的方式不同，提出了六类不同的节点（比如例子中的 Ted Kaczynski 在制造炸弹方面属于「执行（Execution）」节点）。每个节点包括人物和非人物（如书籍、媒体新闻、社会活动等）两种类型。研究人员利用大模型的先验知识，自动化地大规模发现网络节点。每个网络节点均可作为攻击线索，从而形成多样化的攻击路径。

ActorAttack 实现了更高效和多样的攻击

首先，研究人员选取了五类代表性的单轮攻击方法作为比较基准，在 Harmbench 上的实验结果表明，ActorAttack 相比于单轮攻击方法，实现了最优的攻击成功率。

接着，研究人员选择了一个强大的多轮攻击方法 Crescendo 进行比较，为了衡量多样性，研究人员对每个多轮攻击独立运行了三次，计算它们之间的余弦相似度。下图展示了在 GPT-4o 和 Claude-3.5-sonnet 上不同攻击预算下，每个方法的攻击成功率和多样性。研究人员发现 ActotAttack 在不同攻击预算下，其高效性和多样性两个指标均优于 baseline 方法。

ActorAttack 可以根据不同的节点生成多样的攻击路径，其好处之一是相比于单次攻击，它可以从不同的路径中找到更优路径，生成更高质量的攻击。为了从经验上分析，研究人员采用了不同数量的节点，并记录所有的节点中攻击效果最好的得分。实验结果表明，得分为 5 分（最高分）的攻击比例随着节点数量的增多逐渐增加，验证了 ActorAttack 的优势。

ActorAttack 生成的多轮提问可以绕过基于 LLM 的输入检测器。为了验证 ActorAttack 隐藏有害意图的有效性，研究人员利用 Llama Guard 2 分类由单轮提问、ActorAttack 生成的多轮提问，以及 Crescendo 生成的多轮提问是否安全。Llama Guard 2 会输出提问为不安全的概率。实验结果显示，ActorAttack 生成的多轮提问的毒性比直接提问和 Cresendo 的多轮提问更低，揭示了其攻击的隐蔽性。

第一个多轮对话场景下的安全对齐数据集

为了缓解 AI 大模型在多轮对话场景下的安全风险，研究人员基于 ActorAttack 构造了第一个多轮对话安全对齐数据集。一个关键问题是决定在多轮对话中插入拒绝回复的位置。正如文中开头展示的例子那样，ActorAttack 在中间的询问就可以诱导出模型的有害回复，即使没有完全满足用户意图，这样的回复也可能被滥用，因此研究人员提出使用 Judge 模型定位到第一个出现有害回复的提问位置，并插入拒绝回复。

实验结果展示，使用研究人员构造的多轮对话数据集微调 Llama-3-8B-instruct 极大提升了其应对多轮攻击的鲁棒性。研究人员还发现安全和有用性的权衡关系，并表示将缓解这一权衡作为未来工作。

展望

本片工作揭示了 AI 大模型在多轮对话场景下面临的安全风险，甚至对有强推理能力的 OpenAI o1 也是如此。如何让 AI 大模型在多轮长对话中也能保持安全意识成为了一个重要问题。研究人员基于 ActorAttack，构造出了高质量的多轮对话安全对齐数据，大幅提升了 AI 模型应对多轮攻击的鲁棒性，为提升人机交互的安全可信迈出了坚实的一步。