跳到正文
原文
npj Digital Medicine· Valdery Moura Junior V, Susanna Gallani, Lara Basovic 等 13 人

云端与本地部署大语言模型用于患者门户紧急消息筛查:一项比较评估

Cloud vs. on-premise large language models for urgent patient-portal message screening: a comparative evaluation

AI 导读

六种大语言模型在三个队列中筛查患者门户紧急消息,云端与本地部署模型均能高敏感度排除紧急消息,但特异性有限。

摘要 · AI 翻译

患者门户消息在门诊沟通中占有相当大的比重,而消息量的上升已使临床对潜藏于日常信息流中的紧急问题的响应变慢。大语言模型(LLM)能否对这些消息进行分诊,以及本地部署的开源权重模型能否与云端托管的模型相媲美,目前仍不清楚。我们在三个队列中,以医师参考标准为对照,评估了六种 LLM(GPT-4o、GPT-5、GPT-5 Mini、Llama 4 Scout、GPT-OSS 20B、Gemma 3 27B):500 条经过紧急病例富集的初级保健消息、来自同一医疗系统的 503 条癫痫门诊消息,以及来自该系统之外公共平台的 300 条患者撰写消息。在初级保健的多数裁定(Majority adjudication)下,GPT-5 未漏掉任何紧急消息,六种模型中有四种(包括一种可本地部署的模型)达到敏感度 0.97 或更高、阴性预测值 0.98 或更高。各队列间的排序保持一致。云端托管和本地部署的 LLM 均能以高敏感度排除紧急消息,但特异度仍然有限。

中文由 AI 翻译,仅供参考,以原文为准。

来源:npj Digital Medicine · nature.com

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。