具有细粒度可解释性的临床多模态视觉语言基础模型

尽管这些模型前景可观，当前许多医学基础模型仍局限于特定模态，且缺乏透明的推理过程，限制了临床应用。为弥补这一不足，我们提出可解释医学视觉语言基础模型（EVLF-FM），这是一种多模态视觉语言基础模型，将广泛的诊断能力与细粒度的可解释性相结合。EVLF-FM 的开发与测试涵盖来自 18 个全球数据集、10 种成像模态、涉及六个临床专科（皮肤科、肝病科、眼科、病理科、肺科和放射科）的共计超过 130 万个样本。外部验证使用了来自另外 17 个数据集、10 种成像模态的 13,443 个独立测试样本。EVLF-FM 支持疾病诊断、视觉问答和具有推理能力的像素级视觉定位。在疾病诊断的内部验证中，EVLF-FM 取得了最高的平均准确率 0.895，优于领先的通用模型和专科模型。在医学视觉定位方面，EVLF-FM 在九种模态上也取得了合理表现，平均准确率（交并比为 0.5 时的准确率，Acc@0.5）为 0.842。外部测试进一步证实了其一致的零样本和少样本性能，尽管模型规模较小，F1 分数仍具竞争力。结合监督学习和视觉强化微调的混合训练策略使 EVLF-FM 能够生成与视觉证据对齐、具有临床可解释性的解释。使用 S.C.O.R.E. 框架对这些推理输出进行的人工评估得出较高的总体平均分 4.25/5，支持其临床可解释性。当前的局限包括需要在多样化的医疗环境中进行额外验证。在常规临床部署之前，需要开展前瞻性临床研究以评估 EVLF-FM 的安全性、有效性和临床实用性。

中文由 AI 翻译，仅供参考，以原文为准。