跳到正文
原文
arXiv · Human-Computer Interaction· Márton Baltay, Tamás Ilcsik, Márton Borbély
· 22 小时前

AI 辅助医学标注中的真实标准偏差:一项使用独立放射科医生参考标准的交叉研究

Ground Truth Bias in AI-Assisted Medical Annotation: A Crossover Study Using an Independent Radiologist Reference Standard

预印本 · 尚未经过同行评审

AI 导读

51名高中生标注膝关节X光片,改用独立放射科标准后,AI辅助的准确率提升不再显著。

摘要 · AI 翻译

对人工智能辅助标注的行为学评估,是将每一个人类决策对照某一参考标准来打分,因此其结论继承了该标准的效度。我们检验了关于辅助、依赖与个体差异的结论在多大程度上取决于这一标准。51 名非专家高中生对 50 张膝关节 X 线片进行骨关节炎标注,在有和没有一个刻意不完美的分类器的条件下,采用交叉设计;同时测量了人格与非言语推理。决策分别对照公共数据库标签和一个由放射科医生小组制定的独立参考标准进行评分,该小组将 50 张图像中的 23 张评为不确定。对照数据库标签,辅助将准确率从 60.4% 提高到 65.3%(比值比 1.23,p=0.002)。对照独立标准,在 27 张确定图像上的增益较小,且在主要模型中不显著(78.4% 到 80.8%;比值比 1.16,p=0.178)。表观获益集中在不确定图像上,而当这些图像被归入任一类别时均不显著。残余过度依赖的方向取决于不确定病例的处理方式,而与准确率关联最强的人格特质在不同标准之间发生了身份和符号的改变。依赖度量的效度,仅与界定助手何时正确的参考标准一样高。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。