【ChatGPT解读】乙肝问题解答的准确性探讨

编

者

按

近年来，ChatGPT在医学领域的应用已越来越广泛，越来越多的患者开始求助于ChatGPT，以快速解决他们的医学健康问题。但ChatGPT是否能准确全面地回答患者的疑问仍存在较大争议。

近期，国外一项研究评估了ChatGPT在回答各类感染性疾病相关问题时的准确性，结果表明ChatGPT能较好地回答各类感染性疾病相关问题，包括能够正确回答83%的乙肝相关问题。

研究方法

本研究共向ChatGPT提出了200个问题，包括来自社交媒体平台（YouTube、Twitter、Facebook）（n = 93）以及基于感染性疾病指南相关的问题（n = 107）。问题的正确答案来自各权威指南、协会、共识等。为了评估答案的可重复性，每个问题在不同的电脑上向ChatGPT输入两次，分析两个答案的一致性。由具有委员会认证资格的肝病专家负责验证回答的准确性。

每个回答的准确性评分标准为：

1分：全面；

2分：正确但不充分；

3分：混合了不正确或易误导的回答；

4分：完全不正确。

研究结果

在向ChatGPT提出的200个问题中，包括尿路感染（n = 18）、肺炎（n = 22）、HIV（n = 39）、乙型和丙型肝炎（n = 53）、COVID-19（n = 11）、皮肤和软组织感染(n = 38) 和结核病(n = 19)。ChatGPT能正确回答90%的结核病相关问题（19个问题中有17个得到1分）；但是对尿路感染相关问题的正确性最低，仅为72%。此外，ChatGPT能正确回答83%的乙肝相关问题。

对ChatGPT回答指南或

社交媒体平台问题的答案进行评分

在指南问题中，74个（69.2%）得1分，23个（21.5%）得2分。在社交媒体平台的问题中，86个（92.5%）得1分，5个（5.4%）得2分。

两组中，回答社交媒体平台问题的正确率显著更高（得分为1分：p = 0.001; 得分为1分或2分：p = 0.049）。

ChatGPT回答指南或

社交媒体平台问题的正确率比较

肝霖君有话说

本研究表明，ChatGPT能准确地回答感染性疾病相关问题，其中对结核病相关问题的回答最为准确，正确率达到90%，同时还能正确回答83%的乙肝相关问题。

相较于回答指南相关问题，ChatGPT回答社交媒体平台问题的准确性显著更高，可能是由于ChatGPT的准确性易受到信息源质量的影响，并且由于感染性疾病本身的复杂性及各指南建议的不同，降低了ChatGPT对指南相关问题的准确性，因此我们建议，尤其是医护人员在使用ChatGPT回答相关问题时要谨慎，应当在各专业指南中验证回答的准确性。

当然本研究也提示ChatGPT的医学知识已经得到广泛扩展，未来在处理特定医学问题时具有巨大潜力，将有助于为患者的健康赋能，为各人群的健康保驾护航。

参考文献：

Tunçer G, Güçlü KG. How Reliable is ChatGPT as a Novel Consultant in Infectious Diseases and Clinical Microbiology?[J]. Infect Dis Clin Microbiol. 2024, 6(1): 55-59.

来源：雨露肝霖