结构磁共振对自闭症的分类效果如何?在两个 ABIDE 队列中进行的无泄漏、考虑站点且经外部验证的机器学习评估
How Well Does Structural MRI Classify Autism? A Leakage-Free, Site-Aware and Externally Validated Machine-Learning Evaluation in Two ABIDE Cohorts
预印本 · 尚未经过同行评审
以往不少研究报告结构磁共振分类自闭症准确率很高,但小样本、单一划分和站点效应可能抬高结果。研究用 ABIDE II 的 804 名参与者(341 名自闭症)训练多种分类器,特征为 FreeSurfer 提取的皮层厚度、面积、体积等,混杂回归和站点中心化只在训练折内学习,并在 ABIDE I 的 917 名参与者中做外部验证。结果显示最佳模型曲线下面积为 0.60,低于仅用年龄、性别、脑体积和站点的基线 0.63,外部验证为 0.52 至 0.58,300 次随机划分的测试集曲线下面积在 0.21 到 0.90 之间波动。
在 ABIDE II 的 804 名参与者和 ABIDE I 的 917 名参与者上做无泄漏、留一站点的外部验证,结构磁共振区分自闭症的最好曲线下面积只有 0.60,低于仅用年龄性别脑体积的基线。
背景:许多研究报告基于结构MRI对自闭症谱系障碍(ASD)进行分类具有高准确率,但小样本、单一训练-测试划分、站点效应和信息泄漏都可能夸大性能。我们在严格、无泄漏的验证条件下评估了脑形态测量学区分自闭症个体与典型发育(TD)个体的能力。方法:使用来自ABIDE II(804名参与者;341名ASD;12个站点)的FreeSurfer衍生特征(n = 280:区域厚度、面积和体积;皮层下体积;Yeo网络复合指标;不对称指数;全局测量)训练逻辑回归、线性支持向量机、随机森林、XGBoost和多层感知机分类器。混杂回归(年龄、年龄²、性别、脑体积)、按站点中心化和标准化仅在训练折内学习。性能通过嵌套10折交叉验证、留一站点交叉验证以及ABIDE I(917名参与者;20个站点)中的外部验证进行评估,并与全流程置换检验和仅含混杂因素的基线进行比较。结果:交叉验证的区分能力有限:最佳模型(对所有特征使用正则化逻辑回归)达到ROC曲线下面积(AUC)0.60 [0.56, 0.64],显著高于随机水平(置换p = .002),但远未达到临床实用水平,且低于仅使用年龄、性别、脑体积和站点的混杂因素基线(AUC 0.63);非线性模型并未表现更好(各模型和特征集的AUC为0.45-0.60)。合并的留一站点交叉验证AUC为0.54-0.61,站点间差异很大,外部ABIDE I队列中的AUC为0.52-0.58。按年龄分层的模型未超过AUC 0.60。在年轻成人中进行的300次随机80/20划分中,测试集AUC范围为0.21至0.90,表明0.74这样的单一划分估计值可能由偶然产生。结论:在无泄漏、考虑站点并经外部验证的评估下,结构MRI形态测量学对自闭症的分类仅略优于随机水平。高准确率的报告应谨慎解读,自闭症的异质性支持采用分层和常模方法,而非二元诊断分类器。
中文由 AI 翻译,仅供参考,以原文为准。
来源:bioRxiv · Neuroscience · biorxiv.org