【ChatGPT解读】乙肝问题解答的准确性探讨

发表时间: 2024-04-29 13:41





近年来,ChatGPT在医学领域的应用已越来越广泛,越来越多的患者开始求助于ChatGPT,以快速解决他们的医学健康问题。但ChatGPT是否能准确全面地回答患者的疑问仍存在较大争议。

近期,国外一项研究评估了ChatGPT在回答各类感染性疾病相关问题时的准确性,结果表明ChatGPT能较好地回答各类感染性疾病相关问题,包括能够正确回答83%的乙肝相关问题。



研究方法


本研究共向ChatGPT提出了200个问题,包括来自社交媒体平台(YouTube、Twitter、Facebook)(n = 93)以及基于感染性疾病指南相关的问题(n = 107)。问题的正确答案来自各权威指南、协会、共识等。为了评估答案的可重复性,每个问题在不同的电脑上向ChatGPT输入两次,分析两个答案的一致性。由具有委员会认证资格的肝病专家负责验证回答的准确性。

每个回答的准确性评分标准为:

1分:全面;

2分:正确但不充分;

3分:混合了不正确或易误导的回答;

4分:完全不正确。



研究结果


在向ChatGPT提出的200个问题中,包括尿路感染(n = 18)、肺炎(n = 22)、HIV(n = 39)、乙型和丙型肝炎(n = 53)、COVID-19(n = 11)、皮肤和软组织感染(n = 38) 和结核病(n = 19)。ChatGPT能正确回答90%的结核病相关问题(19个问题中有17个得到1分);但是对尿路感染相关问题的正确性最低,仅为72%。此外,ChatGPT能正确回答83%的乙肝相关问题。

对ChatGPT回答指南或

社交媒体平台问题的答案进行评分

在指南问题中,74个(69.2%)得1分,23个(21.5%)得2分。在社交媒体平台的问题中,86个(92.5%)得1分,5个(5.4%)得2分。

两组中,回答社交媒体平台问题的正确率显著更高得分为1分p = 0.001; 得分为1分或2分p = 0.049)。

ChatGPT回答指南或

社交媒体平台问题的正确率比较


肝霖君有话说

本研究表明,ChatGPT能准确地回答感染性疾病相关问题,其中对结核病相关问题的回答最为准确,正确率达到90%,同时还能正确回答83%的乙肝相关问题。

相较于回答指南相关问题,ChatGPT回答社交媒体平台问题的准确性显著更高,可能是由于ChatGPT的准确性易受到信息源质量的影响,并且由于感染性疾病本身的复杂性及各指南建议的不同,降低了ChatGPT对指南相关问题的准确性,因此我们建议,尤其是医护人员在使用ChatGPT回答相关问题时要谨慎,应当在各专业指南中验证回答的准确性。

当然本研究也提示ChatGPT的医学知识已经得到广泛扩展,未来在处理特定医学问题时具有巨大潜力,将有助于为患者的健康赋能,为各人群的健康保驾护航。


参考文献:

Tunçer G, Güçlü KG. How Reliable is ChatGPT as a Novel Consultant in Infectious Diseases and Clinical Microbiology?[J]. Infect Dis Clin Microbiol. 2024, 6(1): 55-59.


来源:雨露肝霖