用ChatGPT诊断疾病,准确率已经超过了人类医生?!
斯坦福大学等机构进行了一轮随机临床试验,结果人类医生单独做出诊断的准确率为74%。
在ChatGPT的辅助之下,这一数字提升到了76%。
有意思的是,如果 完全让ChatGPT“自由发挥”,准确率直接飙到了90% 。
据纽约时报说,面对这一结果,参与实验的内科专家Adam Rodman博士表示非常震惊。
有人评价,在这样的案例中,人类的干预,反而是给大模型的表现“拖了后腿”。
OpenAI总裁Brockman也转发了这则消息,表示看来 AI还有巨大的潜力,但在和人类合作这件事上,还需要再加强 。
50名医生挑战经典病例
研究团队随机从斯坦福大学、弗吉尼亚大学等机构招募到了50名医生,其中包括44名内科医生、5名急诊医生和1名家庭医生。
如果按照职称划分,这50名医生包括26名主治医生和24名住院医生,工作年限中位数为3年。
主治医生和住院医生分别被随机分配到实验组和对照组,区别是在诊断中是否允许使用ChatGPT。
另外,研究人员还对参与者的大模型使用经验进行了统计。
结果有8人从未使用过ChatGPT,6人只用过一次,15人使用频率少于每月一次,13人每月多于一次但少于每周一次,8人每周至少使用一次。
病例方面,研究团队从上世纪90年代以来的105个经典病例中进行了选择和改编。
所有病例均,包含病史、体检和实验室检查结果等初步诊断评估信息,但 最终诊断结果从未公开 。
这意味着,人类医生无法预先知晓答案,ChatGPT的训练数据中也没有相应的诊断结果。
四名专业医生每人独立审阅其中至少50个病例,确定至少10个满足纳入标准的候选病例,需要排除过于简单或过于罕见的病例。
最终四人小组讨论达成一致,确定6个最终入选病例,预计受试者完成时间为1个小时。
入选的病例还要经过编辑,改写成现代化实验室数据报告的格式,并用将专业术语替换为通俗描述(如将“网状青斑”替换为“紫色、红色、蕾丝状皮疹”)。
在评估方法上,研究团队设计了一个基于 “结构化反思” 的评估工具。
具体来说,参与者需要填写一个结构化的表格,其中包含以下关键要素:
在正式实验之前,研究团队招募了13名医生,收集了共65个试点病例的结构化反思表格,并邀请3名临床评估专家进行盲评,从而对评分量表进行了优化。
最终,50名参与者需要 在1个小时时间内,完成6个病例的结构化反思表格 。
每个病例会被2名评分员独立盲评,如果两名评审员评分相差不超过10%,则直接取平均值;
如果差异超过10%,则认为两名评审员存在分歧,需要进行讨论直至达成共识。
ChatGPT表现超过人类
为了更清晰地展示研究的内容,研究人员公布了六个病例中的一个,以及对应得分高和得分低的医生的答案。
案例中还包括该男子体检的详细信息以及他的实验室测试结果,正确的诊断是“胆固醇栓塞”,两名医生以及GPT-4给出的回答如下(中间理由和后续操作略)。
最终,实验组(使用ChatGPT)的诊断得分中位数为76%,对照组为74%。
由于每个参与者完成了多个病例,因此病例之间可能存在相关性,所以为了妥善处理这种嵌套结构,作者使用了混合效应模型。
这类模型不仅考虑了干预的固定效应(即是否使用大模型的影响),还考虑了参与者和病例的随机效应。
根据混合效应模型估计,两组的差异为2个百分点,95%置信区间为-4到8个百分点,p值为0.60。
这意味着,尽管实验组的得分略高于对照组,但这种差异可能仅仅是由于随机误差所致, 不具有统计学意义 。
如果单纯看最终诊断结果,以及完成测试所花费的时间,两组之间同样没有体现出明显的差别。
除此之外,作者还补充了 单独使用ChatGPT进行诊断 的实验。
研究团队使用近期提出的提示工程框架,迭代开发了一个最优的0样本提示。
其中包含了任务细节、背景、指令等关键要素,且每个病例使用相同的提示。
一名研究者会将优化后的提示,连同病例内容输入ChatGPT,每个病例独立运行三次。
研究者会不对ChatGPT的输出做任何人工修改,直接交给评分者一同盲评,而且评分员也不知道哪些结果由ChatGPT生成。
结果,单独使用ChatGPT得到的诊断得分, 中位数高达92%,明显高于对照组,且p值为0.03,具有统计学意义 。
需要注意的是,这些病例是经过人类临床医生精心筛选和总结的,人类已经对其中的关键信息进行过提取。
实际临床工作中,从病人那里获取信息、收集数据的过程更加复杂,因此 实验结果并不代表大模型能在临床场景中取代人类 。
但同时,“人类+ChatGPT”与ChatGPT“自由发挥”结果之间的巨大差异,也说明了 人类的使用方式,还远远不能发挥出大模型的最大效能 。
所以,就像开头Brockman说的一样,这个实验预示着, 人类和AI之间,还需要进一步加强合作 。
论文地址:https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2825395参考链接:[1]https://www.nytimes.com/2024/11/17/health/chatgpt-ai-doctors-diagnosis.html[2]https://x.com/gdb/status/1858337346514485362