微软与OpenAI共同研究《在人工智能时代，比威胁你的人，快一步》

2024年2月15日，美国科技巨头微软公司（Microsoft）昨夜在官网发布了一篇题为在人工智能时代，比威胁你的人，快一步“直译为：在人工智能时代领先于威胁参与者”（Staying ahead of threat actors in the age of AI）的研究文章。

原文如下，请享用：

在过去的一年里，随着人工智能的快速发展和采用，攻击的速度、规模和复杂程度都在增加。防御者才刚刚开始认识到并应用生成式人工智能的力量，以改变网络安全平衡，使其对自己有利，并领先于对手。

与此同时，对我们来说，了解人工智能如何在威胁行为者手中被滥用也很重要。今天，我们与 OpenAI 合作，发布了关于 AI 时代新兴威胁的研究，重点关注与已知威胁参与者相关的已识别活动，包括提示词注入、试图滥用大型语言模型 （LLM） 和欺诈。我们对威胁行为者当前使用 LLM 技术的分析揭示了与攻击者使用 AI 作为攻击性环境中另一种生产力工具的行为一致。

Microsoft和OpenAI尚未观察到由于威胁行为者使用AI而导致的特别新颖或独特的AI攻击或滥用技术。但仍在继续密切研究这一情况。

Microsoft 与 OpenAI 合作的目标旨在确保安全和负责任地使用 ChatGPT 等人工智能技术，坚持道德应用的最高标准，以保护社区免受潜在的滥用。

作为这一承诺的一部分，我们已采取措施破坏与威胁方相关的资产和帐户，改善对 OpenAI LLM 技术和用户免受攻击或滥用的保护，并围绕我们的模型塑造护栏和安全机制。此外，我们还致力于使用生成式 AI 来破坏威胁参与者，并利用包括 Microsoft Copilot for Security 在内的新工具的强大功能来提升各地的防御者。

检测和阻止威胁参与者的原则性方法

技术的进步产生了对强有力的网络安全和安全措施的需求。

例如，美国白宫关于人工智能的行政命令要求对对国家和经济安全或公共卫生和安全有重大影响的人工智能系统进行严格的安全测试和政府监督。我们加强对人工智能模型的保护，并与我们的生态系统合作，安全创建、实施和使用这些模型，这与行政命令对全面的人工智能安全和安保标准的要求相一致。

根据 Microsoft 在 AI 和网络安全领域的领导地位，今天我们宣布了塑造 Microsoft 政策和行动的原则，以减轻与民族国家高级持续性威胁 （APT）、高级持续性操纵者 （APM） 和我们跟踪的网络犯罪集团使用我们的 AI 工具和 API 相关的风险。

这些原则包括：

• 针对恶意威胁行为者的识别和操作：在检测到已识别的恶意威胁参与者（包括民族国家 APT 或 APM）或我们跟踪的网络犯罪集团使用 Microsoft AI 应用程序编程接口 （API）、服务或系统时，Microsoft 将采取适当的措施来中断其活动，例如禁用使用的帐户、终止服务或限制对资源的访问。

• 对其他人工智能服务提供商的通知：当我们检测到威胁参与者使用其他服务提供商的 AI、AI API、服务和/或系统时，Microsoft 将立即通知服务提供商并共享相关数据。这使服务提供商能够独立验证我们的调查结果，并根据自己的政策采取行动。

• 与其他利益攸关方的合作：Microsoft 将与其他利益相关者合作，定期交换有关检测到的威胁参与者使用 AI 的信息。这种合作旨在促进对整个生态系统风险的集体、一致和有效的反应。

• 透明度：作为我们推进负责任地使用 AI 的持续努力的一部分，Microsoft 将告知公众和利益干系人根据这些威胁参与者原则采取的行动，包括威胁参与者使用我们系统中检测到的 AI 的性质和程度，以及针对他们采取的措施（视情况而定）。

Microsoft 始终致力于负责任的 AI 创新，优先考虑我们技术的安全性和完整性，同时尊重人权和道德标准。今天宣布的这些原则建立在 Microsoft 负责任的 AI 实践、我们对推进负责任的 AI 创新的自愿承诺和 Azure OpenAI 行为准则的基础上。我们遵循这些原则，作为我们加强国际法和准则以及推进29个国家赞同的《布莱切利宣言》目标的更广泛承诺的一部分。

Microsoft 和 OpenAI 的互补防御保护 AI 平台

由于Microsoft和OpenAI的合作伙伴关系扩展到安全领域，因此当已知和新兴的威胁行为者浮出水面时，两家公司可以采取行动。Microsoft 威胁情报跟踪 300 多个独特的威胁参与者，包括 160 个国家参与者、50 个勒索软件组织等。这些攻击者使用各种数字身份和攻击基础设施。

Microsoft 的专家和自动化系统不断分析和关联这些属性，发现攻击者通过利用新技术来逃避检测或扩展其功能的努力。为了防止威胁行为者在我们的技术中采取行动并与合作伙伴密切合作，Microsoft 继续研究威胁行为者对 AI 和 LLM 的使用，与 OpenAI 合作监控攻击活动，并应用我们学到的知识来不断改进防御。此博客概述了从 Microsoft 威胁情报识别的已知威胁参与者基础结构中收集的观察到的活动，然后与 OpenAI 共享，以识别对其平台的潜在恶意使用或滥用，并保护我们的共同客户免受未来的威胁或伤害。

（LLM是大语言模型的缩写，会被简称为“大模型”，译者注）

认识到人工智能的快速增长和 LLM 在网络运营中的新兴使用，我们继续与 MITRE 合作，将这些以 LLM 为主题的战术、技术和程序 （TTP） 集成到 MITRE ATT&CK® 框架或 MITRE ATLAS™（人工智能系统的对抗性威胁态势）知识库中。这一战略扩张反映了我们不仅致力于跟踪和消除威胁，而且还致力于在人工智能驱动的网络行动不断发展的格局中率先制定对策。附录中总结了以 LLM 为主题的 TTP 的完整列表，其中包括我们在调查期间确定的 TTP。

Microsoft 和 OpenAI 的调查结果和威胁情报摘要

在过去几年中，威胁生态系统揭示了一个一致的主题，即威胁行为者与防御者同行并行遵循技术趋势。威胁行为者，如防御者，正在研究人工智能，包括LLM，以提高他们的生产力，并利用可访问的平台来推进他们的目标和攻击技术。网络犯罪集团、民族国家威胁行为者和其他对手正在探索和测试不同的人工智能技术，以试图了解其运营的潜在价值以及他们可能需要规避的安全控制措施。在防御者方面，加强这些相同的安全控制以抵御攻击并实施同样复杂的监控以预测和阻止恶意活动至关重要。

虽然不同威胁参与者的动机和复杂性各不相同，但他们在定位和攻击过程中都有共同的任务要执行。这些包括侦察，例如了解潜在受害者的行业、地点和关系;帮助编码，包括改进软件脚本和恶意软件开发等内容;并协助学习和使用母语。语言支持是 LLM 的自然特征，对持续关注社会工程和其他技术的威胁行为者很有吸引力，这些技术依赖于针对目标的工作、专业网络和其他关系量身定制的虚假、欺骗性通信。

重要的是，我们与 OpenAI 的研究尚未发现使用我们密切监控的 LLM 的重大攻击。同时，我们认为这是一项重要的研究，可以发表这些研究，以揭露我们观察到的知名威胁行为者试图采取的早期渐进行动，并与防御者社区分享有关我们如何阻止和反击它们的信息。

虽然攻击者仍然对人工智能和探测技术的当前功能和安全控制感兴趣，但重要的是要将这些风险放在上下文中。与往常一样，多因素身份验证 （MFA） 和零信任防御等卫生实践至关重要，因为攻击者可能会使用基于 AI 的工具来改进他们现有的网络攻击，这些攻击依赖于社会工程和查找不安全的设备和帐户。

下面介绍的威胁参与者是我们认为最能代表行业需要使用 MITRE ATT&CK® 框架或 MITRE ATLAS™ 知识库更新更好地跟踪的观察到的活动的示例。

森林暴风雪（Forest Blizzard ）

Forest Blizzard （STRONTIUM） 是与 GRU 26165 部队有联系的俄罗斯军事情报人员，他们的目标是俄罗斯政府具有战术和战略利益的受害者。他们的活动涉及多个领域，包括国防、运输/物流、政府、能源、非政府组织 （NGO） 和信息技术。在整个冲突期间，森林暴雪一直非常积极地针对俄罗斯在乌克兰的战争中和与俄罗斯战争有关的组织，Microsoft评估森林暴雪的行动对俄罗斯在乌克兰和更广泛的国际社会的外交政策和军事目标发挥着重要的支持作用。Forest Blizzard 与其他研究人员追踪的威胁行为者 APT28 和 Fancy Bear 重叠。

Forest Blizzard 对 LLM 的使用涉及对可能与乌克兰常规军事行动相关的各种卫星和雷达技术的研究，以及旨在支持其网络行动的通用研究。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

• LLM知情侦察： 与LLM进行交互，以了解卫星通信协议，雷达成像技术和特定技术参数。这些查询表明，试图深入了解卫星能力。
• LLM 增强的脚本技术：在基本脚本任务（包括文件操作、数据选择、正则表达式和多处理）中寻求帮助，以潜在地自动化或优化技术操作。

与Salmon Typhoon的LLM交互类似，Microsoft观察到Forest Blizzard的参与代表了对手探索新技术的用例。与其他对手一样，与森林暴雪相关的所有账户和资产都已被禁用。

翡翠雨夹雪（Emerald Sleet ）

Emerald Sleet （THALLIUM） 是朝鲜的威胁行为者，在整个 2023 年一直保持高度活跃。他们最近的行动依靠鱼叉式网络钓鱼电子邮件来破坏和收集具有朝鲜专业知识的知名人士的情报。Microsoft观察到Emerald Sleet冒充知名学术机构和非政府组织，引诱受害者就与朝鲜有关的外交政策发表专家见解和评论。Emerald Sleet 与其他研究人员追踪的威胁行为者 Kimsuky 和 Velvet Chollima 重叠。

Emerald Sleet 对 LLM 的使用一直支持这项活动，并涉及对朝鲜智库和专家的研究，以及生成可能用于鱼叉式网络钓鱼活动的内容。Emerald Sleet 还与 LLM 进行了互动，以了解已知的漏洞、解决技术问题以及使用各种 Web 技术的帮助。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

• LLM辅助的漏洞研究：与 LLM 交互以更好地了解公开报告的漏洞，例如 CVE-2022-30190 Microsoft 支持诊断工具 （MSDT） 漏洞（称为“Follina”）。
• LLM 增强的脚本技术：将 LLM 用于基本的脚本任务，例如以编程方式识别系统上的某些用户事件，以及寻求故障排除和了解各种 Web 技术的帮助。
• LLM支持的社会工程： 使用 LLM 协助起草和生成内容，这些内容可能用于针对具有区域专业知识的个人的鱼叉式网络钓鱼活动。
• LLM知情侦察：与LLM互动，以确定专注于国防问题或朝鲜核武器计划的智囊团、政府组织或朝鲜专家。

与 Emerald Sleet 相关的所有帐户和资产均已禁用。

绯红沙尘暴（Crimson Sandstorm ）

Crimson Sandstorm （CURIUM） 是一个伊朗威胁行为者，被评估为与伊斯兰革命卫队 （IRGC） 有关。至少自 2017 年以来，Crimson Sandstorm 一直活跃在多个领域，包括国防、海运、运输、医疗保健和技术。这些操作经常依靠水坑攻击和社会工程来提供自定义 .NET 恶意软件。先前的研究还确定了使用基于电子邮件的命令和控制 （C2） 通道的自定义 Crimson Sandstorm 恶意软件。Crimson Sandstorm 与其他研究人员追踪的威胁行为者重叠，如 Tortoiseshell、Imperial Kitten 和 Yellow Liderc。

Crimson Sandstorm 对 LLM 的使用反映了安全社区从该威胁参与者那里观察到的更广泛的行为。交互涉及围绕社会工程的支持请求、帮助解决错误、.NET 开发以及攻击者在受感染的计算机上可能逃避检测的方式。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

• LLM支持的社会工程：与 LLM 互动以生成各种网络钓鱼电子邮件，包括一封假装来自国际发展机构的电子邮件，另一封试图引诱著名的女权主义者访问攻击者建立的女权主义网站。
• LLM 增强的脚本技术：使用 LLM 生成代码片段，这些代码片段似乎旨在支持应用程序和 Web 开发、与远程服务器的交互、Web 抓取、在用户登录时执行任务以及通过电子邮件从系统发送信息。
• LLM增强的异常检测规避：尝试使用 LLM 来帮助开发代码以逃避检测，了解如何通过注册表或 Windows 策略禁用防病毒，以及在应用程序关闭后删除目录中的文件。

与Crimson Sandstorm相关的所有帐户和资产均已被禁用。

木炭台风（CHROMIUM）

他们以针对政府、高等教育、通信基础设施、石油和天然气以及信息技术等行业而闻名。他们的活动主要集中在中国台湾、泰国、蒙古、马来西亚、法国和尼泊尔境内的实体，观察到的利益延伸到全球反对中国政策的机构和个人。Charcoal Typhoon 与其他研究人员追踪的威胁行为者重叠，如 Aquatic Panda、ControlX、RedHotel 和 BRONZE UNIVERSITY。

在最近的行动中，已经观察到木炭台风与LLM的互动方式表明，对LLM如何增强其技术操作的探索有限。这包括使用 LLM 来支持工具开发、脚本编写、理解各种商品网络安全工具，以及生成可用于社会工程目标的内容。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

• LLM知情侦察：让LLM研究和了解特定的技术、平台和漏洞，表明初步的信息收集阶段。
• LLM增强的脚本技术：利用LLM来生成和优化脚本，有可能简化和自动化复杂的网络任务和操作。
• LLM支持的社会工程：利用LLMs帮助翻译和交流，可能建立联系或操纵目标。
• LLM改进的操作命令技术：利用LLM进行高级命令，更深入的系统访问和控制，代表入侵后的行为。

Charcoal Typhoon 的所有相关账户和资产均已被禁用，重申了我们对防止滥用人工智能技术的承诺。

鲑鱼台风（SODIUM）

是一个复杂的中国国家附属威胁行为者，其历史目标是美国国防承包商、政府机构和加密技术领域的实体。该威胁行为者通过部署恶意软件（例如 Win32/Wkysol）来展示其能力，以保持对受感染系统的远程访问。鲑鱼台风的运行以间歇性休眠和复苏为标志，最近显示出新的活动。

鲑鱼台风与其他研究人员追踪的威胁行为者 APT4 和 Maverick Panda 重叠。

值得注意的是，Salmon Typhoon 在整个 2023 年与 LLM 的互动似乎是探索性的，这表明该威胁行为者正在评估 LLM 在获取有关潜在敏感话题、知名人士、地区地缘政治、美国影响力和内政的信息方面的有效性。这种与LLM的试探性接触可能既反映了其情报收集工具包的扩大，也反映了评估新兴技术能力的实验阶段。

基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

• LLM知情侦察：让 LLM 参与各种主题的查询，例如全球情报机构、国内问题、知名人士、网络安全问题、战略利益主题和各种威胁行为者。这些互动反映了搜索引擎在公共领域研究中的使用。
• LLM 增强的脚本技术：使用 LLM 识别和解决编码错误。Microsoft观察到支持开发具有潜在恶意意图的代码的请求，并指出该模型遵守既定的道德准则，拒绝提供此类帮助。
• LLM精炼的作战指挥技术：表现出对操作系统中特定文件类型和隐藏策略的兴趣，表明正在努力改进操作命令执行。
• LLM辅助技术翻译和解释：利用 LLM 翻译计算术语和技术论文。

Salmon Typhoon与LLM的参与与Microsoft观察到的模式一致，反映了新技术领域的传统行为。作为回应，所有与鲑鱼台风相关的账户和资产都已被禁用。

最后，人工智能技术将继续发展，并被各种威胁行为者研究。Microsoft将继续跟踪威胁行为者和滥用LLM的恶意活动，并与OpenAI和其他合作伙伴合作，共享情报，改善对客户的保护，并帮助更广泛的安全社区。

附录：以LLM为主题的TTP

利用我们上面分析的见解，以及人工智能的其他潜在滥用，我们分享了以下以 LLM 为主题的 TTP 列表，我们将这些 TTP 映射并分类到 MITRE ATT&CK® 框架或 MITRE ATLAS™ 知识库，为社区提供通用分类法，以共同跟踪 LLM 的恶意使用并针对以下情况制定对策：

• LLM知情侦察： 使用 LLM 来收集有关技术和潜在漏洞的可操作情报。
• LLM 增强的脚本技术：利用 LLM 生成或优化可用于网络攻击的脚本，或用于基本脚本任务，例如以编程方式识别系统上的某些用户事件，并协助排除故障和了解各种 Web 技术。
• LLM 辅助开发：在工具和程序的开发生命周期中使用 LLM，包括那些具有恶意意图的工具和程序，例如恶意软件。
• LLM支持的社会工程：利用LLMs帮助翻译和交流，可能建立联系或操纵目标。
• LLM辅助漏洞研究：使用LLM来了解和识别软件和系统中的潜在漏洞，这些漏洞可能成为攻击的目标。
• LLM 优化的有效载荷制作：使用 LLM 协助创建和优化有效载荷，以便在网络攻击中部署。
• LLM 增强的异常检测规避：利用 LLM 开发方法，帮助恶意活动与正常行为或流量混合，以规避检测系统。
• LLM 导向的安全功能绕过：使用 LLM 查找规避安全功能的方法，例如双因素身份验证、验证码或其他访问控制。
• LLM建议的资源开发：在工具开发、工具修改和战略运营规划中使用LLM。