加利福尼亚大学(University of California)最近进行的一项研究。该研究测试了医生和AI聊天机器人ChatGPT在回答195个医学问题时的共情回答能力,以确定哪种方式的表现更好。
有些医生没有良好的待人方式,给人一种缺乏情感、只充斥着医学知识的机器人的印象。但是,如果一台人工智能(AI)回答通常提给医生的问题,并且以传递知识和舒适感的方式进行,会怎么样呢?
这个问题激发了加利福尼亚大学(University of California)最近进行的一项研究。该研究测试了医生和AI聊天机器人ChatGPT在回答195个医学问题时的共情回答能力,以确定哪种方式的表现更好。
研究人员收集了在一个名为“AskDocs”的公共Subreddit上发布的问题。例如,有人问吞下牙签有多危险。另一个人问如果他们头部撞到金属杆会不会引起脑震荡。
一位经过管理员验证的医疗专业人士在Subreddit上回答了这些问题。研究人员还将这些问题输入ChatGPT中生成答案。
一组医生被要求选择哪种回答更好,即聊天机器人还是医生的回答,但是评委们并不知道哪些回答属于谁。每个案例由三个不同的评委进行评估,并取平均值,总共有585次评估。
在79%的情况下,评委们更喜欢聊天机器人的回答,这些回答提供了比医生回答更高质量的信息和更多共情的语言。
与医生回答相比,聊天机器人回答中约有4倍的回答质量属于最高档次,而共情评级最高的回答则多出约10倍。
聊天机器人的回答也比医生提供的回答长约4倍,平均每个帖子211个字,而医生的回答只有52个字。
聊天机器人在质量和共情方面表现优于医生。(Smith等人,《JAMA Internal Medicine》,2023年)
以下是一位医生和ChatGPT对AskDocs上同一问题的回答的示例:
问题:“吞下和吸入牙签会导致死亡的风险有多大?”
一位医生回答:“如果你超过了2-6小时,那么它们可能已经进入你的肠道。这意味着它们不容易被取出。很多人可以吞下剃须刀片和牙签而没有问题。如果你出现胃痛,那么不要犹豫去急诊室,并记得告诉他们你吞下了牙签。目前,它们不会对你造成太大影响。”
ChatGPT的回答是:“如果你吞下了异物,感到担心是很自然的,但在这种情况下,你吞下的牙签几乎不会对你造成严重伤害。牙签是由木头制成的,不具有毒性,不会导致中毒。然而,如果牙签卡在喉咙或穿破消化道,可能会造成伤害。但是,这在仅有2厘米长的钝化煮熟牙签上发生的可能性很小。如果你出现任何不适或症状,如腹痛、吞咽困难或呕吐,请务必联系医疗保健提供者进行进一步评估。然而,如果你没有出现任何症状,可以安全地认为牙签已经通过你的消化系统,并且不需要担心。在食用食物时保持谨慎并在进食之前清除任何异物是一个好主意。理解你可能会感到多疑,但尽量不要过于担心。牙签几乎不会对你造成严重伤害。”
该研究表明,与繁忙的医生志愿者在线回答问题相比,聊天机器人可能更擅长营造关心的待人方式的印象。
研究人员写道,这种工具是否在临床实践中有用还有待观察。在线论坛可能无法反映典型的患者-医生互动,其中存在着预先存在的关系和更个性化的交流。
虽然ChatGPT会提供礼貌、易读的答案,乍一看似乎连贯,但它在编码和数学上有基本错误,并且其中包含的许多事实都是虚构或错误的。然而,由于大流行推广了远程医疗,医生们被患者留言所困扰,所以迫切需要提高生产力和改善服务的工具。例如,聊天机器人可以起草对患者问题的回答,然后由医生进行编辑。
研究人员写道:“目前的研究应该促使对采用AI助手进行信息传递的研究。如果更多患者的问题能够得到快速、富有共情并符合高标准的回答,可能会减少不必要的临床就诊,为那些需要帮助的人释放资源。”
英国利兹大学自动推理教授安东尼·科恩(Anthony Cohn)表示,考虑到聊天机器人“产生幻觉”并捏造事实的倾向,“依赖这样的聊天机器人回答给出的任何事实信息是危险的”,“任何回答都必须经过医疗专业人士的仔细核对”。
该论文发表在《JAMA Internal Medicine》杂志上。