微软推出新工具,保护AI聊天机器人免受不良信息影响

发表时间: 2024-03-29 03:02

微软正努力防止人们欺骗Ai聊天机器人做出奇怪的事情。微软公司周四在一篇博客文章中表示,Azure AI Studio正在内置新的安全功能,允许开发人员使用自己的数据构建定制的人工智能助手。这些工具包括“提示词防护盾”,旨在检测和阻止企图使人工智能模型以意想不到的方式运行的“提示词攻击”或“越狱”。微软还解决了“间接提示词输入”问题,即黑客将恶意指令插入模型所训练的数据中,并诱使其执行诸如窃取用户信息或劫持系统等未经授权的操作。微软负责人工智能的首席产品官Sarah Bird说,这种攻击是“一种独特的挑战和威胁”。她说,新的防御措施旨在发现可疑输入并实时阻止它们。微软还推出了一项新功能,当Ai模型编造东西或产生错误反应时,它会提醒用户。

本文源自金融界AI电报