跳到正文
原文
arXiv · Neurons and Cognition· Veith Weilnhammer, Raymond Dolan, Lennart Luettgau 等 9 人
· 12 天前精选AI 评分62

路径依赖式分诊:早期判断使对话式 AI 聊天机器人漏掉心理健康急症

Path-dependent triage: Early judgments lead conversational AI chatbots to miss mental-health emergencies

预印本 · 尚未经过同行评审

AI 导读

人们越来越多地向消费级 AI 聊天机器人倾诉心理健康问题,而关键信息往往在多轮对话中逐步透露。研究让 13 个前沿 AI 聊天机器人与模拟用户进行 10 轮对话,模拟用户基于 112 份结构化心理健康病例,每份病例都有临床医生评定的紧急程度。结果显示聊天机器人漏掉了 20.3% 的急症,而把全部临床细节放在一条消息里时漏诊率为 5.6%;到最后一轮时决定性事实几乎都已披露,把同样事实重新合并成一条消息后漏诊率降至 12.1%。作者把这一现象称为路径依赖,早期分诊判断会锚定后续判断,提问也收窄到少数刻板路径,且比人类临床医生在同一对话记录上更固执。

推荐理由

用 112 份经临床医生评定紧急程度的结构化心理健康病例驱动模拟用户,让 13 个前沿对话式 AI 聊天机器人进行 10 轮对话分诊,比较多轮与单条消息呈现时的漏诊率。

摘要 · AI 翻译

人们越来越多地向消费级 AI 聊天机器人倾诉心理健康方面的困扰。在这些对话中,具有临床意义的信息很少一次性全部出现,而是随着多轮对话逐步展开,往往是在回应聊天机器人所提问题的过程中显现。因此,识别风险取决于聊天机器人如何整合新披露的信息(推断),以及它在每一轮中提出哪些问题来引出这些信息(情境探寻)。在此,我们评估了 13 个前沿 AI 聊天机器人的对话式分诊表现,任务是让其与模拟用户进行 10 轮对话。模拟用户以 112 份结构化心理健康病例档案之一为基础,每份档案都附有经临床医生验证的紧急程度,从常规照护到紧急情况不等。聊天机器人未能识别出五分之一的心理健康紧急情况(20.3%),这一失败率几乎是所有相关临床细节以单条消息一次性呈现时(5.6%)的四倍。这一差距并不能用信息缺失来解释:到最后一轮时,决定性事实几乎总是已被披露,而仅将同样这些事实以单条消息重新呈现,就把紧急情况的漏诊率降至 12.1%。问题反而出在对话展开的方式上,我们将这一现象称为路径依赖。早期的分诊判断日益锚定后续判断,以致早期被漏掉的紧急情况随着证据积累也很少被重新识别。情境探寻收窄到少数几种刻板化的提问轨迹上,在给定相同对话记录的情况下,聊天机器人比人类临床医生表现出更多的 perseveration(固着重复)。由于聊天机器人持续运行的判断塑造了它接下来所问的问题,这两种偏差很可能在多轮对话中相互耦合。这些动态在单轮基准测试中不可见,却可在多轮评估中测量,并为消费级健康 AI 中更安全的对话式分诊指明了具体的改进措施。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neurons and Cognition · arxiv.org

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。