跳到正文
原文
arXiv · Image and Video Processing· Mahvash Jebeli, Mohammad Eslami, Nazlee Zebardast 等 5 人
· 2 天前

超越准确率:视网膜疾病筛查中不确定性量化的基准评测

Beyond Accuracy: Benchmarking Uncertainty Quantification in Retinal Disease Screening

预印本 · 尚未经过同行评审

AI 导读

基于32个数据集24.2万余张眼底照片的评测显示,没有普遍最优的不确定性量化策略,其可靠性随疾病和模型架构而异。

摘要 · AI 翻译

可靠的不确定性量化(UQ)对于在分类准确率之外评估视网膜 AI 系统至关重要,但现有 UQ 策略能否跨疾病、模型架构和可靠性标准泛化仍不清楚。我们引入了一个大规模、多疾病基准,包含来自 $32$ 个数据集的超过 $242,000$ 张眼底照片,覆盖糖尿病视网膜病变、年龄相关性黄斑变性和青光眼。我们在三种 Vision Transformer 配置上评估了六种代表性 UQ 策略,考察判别力、概率校准、选择性预测和共形预测集覆盖率。我们的发现表明,不存在普遍更优的模型或 UQ 策略:在一种疾病或架构上提升可靠性的方法,在另一种疾病或架构上可能表现不佳,而判别力、校准和选择性预测方面的改进未必彼此一致。值得注意的是,计算密集型方法并不总是优于简单的置信度分数,领域特定的基础模型和面向校准的损失函数也不能保证更高的可靠性。相比之下,共形预测提供了一个互补框架,可在多种设置下实现接近名义水平的边际预测集覆盖率,但以其统计假设为前提。这些发现对通用的 UQ 建议提出了挑战,并凸显了在临床部署前进行疾病特定、模型特定和多维可靠性评估的必要性。我们发布了标准化的数据集划分、训练好的检查点、评估代码以及一个交互式研究演示,以支持可复现的基准测试。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Image and Video Processing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。