Google对人工智能概述的失误和修正:为准确性辩护

发表时间: 2024-05-31 11:55

Google今天下午发表了一篇关于人工智能概述及其准确性的长篇回应。该搜索功能于 2024 年在美国I/O 大会上推出,曾因一些备受瞩目的荒唐错误而饱受批评。

Google首先解释了人工智能概述的运行方式,包括它们"与聊天机器人和其他乐虎国际手机版下载产品的工作方式有很大不同"。

它们不是简单地根据训练数据生成输出结果。虽然人工智能概述由定制的语言模型驱动,但该模型与我们的核心网络排名系统集成,旨在执行传统的"搜索"任务,例如从我们的索引中识别相关的高质量结果。这就是为什么人工智能概述不仅仅提供文本输出,还包括相关链接,以便人们进一步探索。

Google试图将人工智能概述与更广泛的LLM幻觉问题区分开来,有些人认为LLM不适合搜索。

这意味着人工智能概述一般不会像其他LLM产品那样"产生幻觉"或胡编乱造。

相反,当人工智能概述出错时,Google表示常见的问题是"误解了查询,误解了网络语言的细微差别,或者没有很多有用的信息"。

Google强调了一些病毒式传播的例子。在"我应该吃多少石头"的案例中,Google承认它没有很好地处理讽刺性内容。它还指出《洋葱新闻》的文章是如何"被一家地质软件供应商的网站转载的"。

因此,当有人在搜索中输入这个问题时,就会出现一个人工智能概述,忠实地链接到解决这个问题的唯一网站之一。

Google强调的另一个案例是"用胶水让奶酪粘在披萨上",并将论坛(该案例中为 Reddit)作为可靠的第一手知识来源进行了过度索引。

最后

在少数情况下,我们发现人工智能概述会曲解网页上的语言并提供不准确的信息。我们通过改进算法或通过既定流程删除不符合我们政策的回复,迅速解决了这些问题。

就下一步措施而言,Google已经"限制包含讽刺和幽默内容",作为"更好的无意义查询检测机制"的一部分。此外

  • "我们更新了系统,以限制在可能提供误导性建议的回复中使用用户生成的内容"。

  • "我们为人工智能概述证明不那么有用的查询添加了触发限制"。

  • "对于新闻和健康等主题,我们已经制定了强有力的防护措施。例如,我们的目标是不显示硬新闻话题的人工智能概述,因为这些话题的新鲜度和事实性非常重要。在健康方面,我们推出了额外的触发改进措施,以加强我们的质量保护。"

该公司此前曾表示,"绝大多数人工智能概述都能提供高质量的信息"。Google今天援引自己的测试结果称,人工智能概述和基于引用的精选片段的准确率"不相上下"。 但遗憾的是,Google没有分享任何数据来证明这一点。