微软推出新工具集合以增强AI生成式应用开发

随着生成式人工智能的兴起，安全性、隐私性和可靠性等问题日益凸显。为应对这一挑战，微软公司近日推出了一系列解决方案，以防止生成式AI失控。

首先，微软限制了Copilot的人数，并减小其幻觉发作的可能性。此外，微软还引入了“基础检测”功能来帮助用户识别文本中的幻觉。该功能能自动检测文本中的“ungrounded material”，从而提高生成式语言模型（LLM）输出的质量和信任度。

为了检测和阻止提示注入攻击，微软将发布“Prompt Shields”。这个工具可用于在间接提示攻击对模型产生影响之前对其进行识别，并且它也将作为Azure AI Content Safety服务中即将推出的新特性。

另外，在输出质量方面，微软还将推出“Groundedness detection”功能。该功能主要检测模型输出中的“幻觉”，从而帮助用户识别基于文本的幻觉。

同时，微软还将提供一个名为“Safety system messages”的工具来引导模型朝着安全和负责任的方向发展。此外，他们也将评估应用程序在越狱攻击和生成内容风险方面的脆弱性，并通过“Risk and safety monitoring”功能向用户提供信息以减轻这些风险。

总之，微软公司正在努力开发一系列工具来帮助开发者构建更加安全、可靠、可信的生成式AI应用。这些新工具包括：Prompt Shields、Groundedness detection、Safety system messages和Safety evaluationsde等。未来我们有望看到更多相关功能的推出和完善。

(8636764)