研究揭示:ChatGPT的建议超越专家,更全面且实用

发表时间: 2023-12-26 11:37

IT之家 12 月 26 日消息,专家近期展开的一项研究表明,ChatGPT 所提供的建议,相比较人类专家提供的回复更平衡、更全面、更善解人意、更有帮助。

来自墨尔本大学和西澳大利亚大学的研究团队从十大热门建议栏网站上,随机挑选了 50 个社会困境问题。

该科研团队邀请了 404 名志愿者,盲测展示由专栏作家和 ChatGPT 所提供的答案,要求其回答哪个答案更平衡、更全面、更善解人意、更有帮助。

研究人员发现,ChatGPT 在五个随机提出的问题中的每一个和所有查询类别中都“明显优于”人类顾问,支持人工智能的偏好率在 70% 到 85% 之间。

两项调查都显示,许多人发现 ChatGPT 的建议比专业顾问的建议更平衡、更完整、更善解人意、更有帮助,而且总体上更好。在调查 1 的 404 名参与者和调查 2 的 401 名参与者中,大多数人在所有方面都投票赞成 ChatGPT。

该研究还表明,ChatGPT 参与者的答案比建议专栏作家的答案更长。在第二项研究中,研究人员缩短 ChatGPT 的回答内容长度,确保其内容长度和专栏作家回答相近。

第二项研究表明,虽然偏好率有所减少,但整体而言 ChatGPT 提供的回答更全面更优秀。

尽管 ChatGPT 建议的质量很高,但 77% 的受访者依然表示,更喜欢人类专家给出的回答。

IT之家附上论文参考地址:

  • Howe Piers Douglas Lionel, Fay Nicolas, Saletta Morgan, Hovy Eduard,ChatGPT’s advice is perceived as better than that of professional advice columnists,2023,https://www.frontiersin.org/articles/10.3389/fpsyg.2023.1281255