平衡人类与AI特征用于家庭视频数字自闭症诊断:人在回路机器学习研究
Balancing Human and AI Features for Digital Autism Diagnostics from Home Videos: Human-In-The-Loop Machine Learning Study
家庭视频自闭症分类中,用人工标注替换低置信度AI面部特征后,AUROC从0.54升至0.76。
<b>背景</b> 自闭症谱系障碍(ASD 或自闭症)的诊断因专科医生短缺以及主观的、基于诊所的评估而面临显著延迟。尽管 AI 通过自动化视频分析提供了一种潜在可扩展的解决方案,但当前最先进的深度学习模型往往无法捕捉到可靠检测所必需的细微、具有临床细微差别的社会行为。<b>目的</b> 本研究旨在开发并评估一种人在回路(HITL)框架,该框架将自动化 AI 特征提取与众包人工标注相结合,用于对自然家庭视频进行自闭症分类。我们针对低置信度的 AI 面部特征提取输出,将其替换为人工特征。我们还试图量化用于将 AI 特征替换为人工特征的置信度阈值、人工替换 AI 特征的数量与预测诊断性能之间的关系。<b>方法</b> 我们实现了一个 HITL 流程,整合了用于面部情绪(7 类)特征提取的深度学习模型。对 AI 特征提取器模型输出的概率应用置信度阈值,以识别低置信度的面部特征或 AI 模型无法做出预测的特征(以下称为“未解决”),随后由经过严格审核的众包工作者进行人工“特征提取”(即标注)予以替换。我们在来自 GuessWhat? 数字治疗应用的 100 个高质量视频(50 个自闭症和 50 个神经典型)上评估了该方法。采用 5 折交叉验证,通过敏感度、特异度、F1 分数和受试者工作特征曲线下面积(AUROC)在决策阈值(0.1-0.9,以 0.1 为增量)上评估性能。<b>结果</b> 在各决策阈值上,性能总体有所改善,但在中间阈值上呈非单调变化。在阈值 0.9 时,59.7%(597/1000)的帧被人工标注替换,平均敏感度从阈值 0.1 时的 0.51(SD 0.24)提高到阈值 0.9 时的 0.66(SD 0.10),绝对增幅约为 15 个百分点。HITL 增强的多模态模型实现了 0.76 的总体折外 AUROC,而仅 AI 模型为 0.54。<b>结论</b> 在这项概念验证研究中,在该特定数据集上,用人工特征替换 AI 特征往往与观察到的更高自闭症分类性能相关。我们针对低置信度和未解决的帧进行人工标注。我们注意到这些发现是探索性的,因此既不能分离出人工替换的独立因果效应,也不能确立临床诊断效度。
中文由 AI 翻译,仅供参考,以原文为准。
来源:JMIR AI · doi.org