融入扩散模型生成的合成数据支持超声心动图下游任务
Incorporating synthetic data from diffusion models supports echocardiography downstream tasks
预印本 · 尚未经过同行评审
扩散模型合成图像用于训练,使CAMUS相分类准确率和分割Dice小幅提升。
目的:大型带标注超声心动图数据集采集成本高昂。我们使用扩散模型生成合成训练数据,用于分割和心动周期相位分类。方法:我们在 CAMUS 上研究三种生成方法:无条件图像空间模型;以纯英文提示或抽象 token 为条件的潜变量模型;以抽象 token 和分割掩码为条件的 ControlNet 模型。我们使用 Fréchet Inception Distance(FID)评估合成质量,并通过舒张末期和收缩末期的分割与分类评估数据增强效果。我们还评估了 CardiacUDC 内部的分割,以及直接从 CAMUS 到 CardiacUDC 的分割。结果:以抽象 token 和分割掩码为条件得到最低的平均 FID,为 1.5,而语义扩散模型为 3.2。抽象 token 增强取得最高分类准确率,将 ResNet-18 从 83.8% 提升至 87.2%,VGG-16 从 74.5% 提升至 78.7%。合成数据增强取得最高的平均 Dice,CAMUS 2D U-Net 为 87.6%,CardiacUDC nnU-Net 为 84.6%。当 nnU-Net 模型在 CAMUS 上训练并直接在 CardiacUDC 上评估时,增强将平均 Dice 从 74.6% 提升至 75.2%。结论:将合成图像纳入训练在 CAMUS 相位分类、CAMUS 和 CardiacUDC 内部的分割,以及从 CAMUS 到 CardiacUDC 的直接分割中均带来适度提升。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Image and Video Processing · arxiv.org