跳到正文
原文
arXiv · Image and Video Processing· Shibo Li, Venet Osmani
· 4 小时前

TheseusSyn:通过上下文条件化掩码自回归实现统一医学图像合成

TheseusSyn: Unified Medical Image Synthesis via Context-Conditioned Masked Autoregression

预印本 · 尚未经过同行评审

AI 导读

TheseusSyn用上下文条件化掩码自回归合成医学图像,仅用合成数据训练的ResNet-18在MedMNIST测试集上表现具竞争力。

摘要 · AI 翻译

高保真医学图像合成在数据高效学习和隐私保护模型开发方面具有广阔前景。然而,现有方法大多依赖符号或基于标签的条件控制,这限制了生成多样性,也限制了病例特异性上下文保真度。受忒修斯之船悖论的启发,我们提出 TheseusSyn,一种新颖的上下文条件合成范式,通过迭代内容替换来生成图像。我们的框架采用多码本离散分词器,将医学图像转换为 token 索引序列,并用一个全局表示 token 进行提取,作为上下文约束。随后,掩码自回归生成模型在局部邻域和全局上下文的共同条件下迭代地掩码并预测 token。通过逐步替换图像内容,直至整个 token 序列被完全更新,TheseusSyn 生成的合成样本在引入受控多样性的同时,保持了解剖连贯性和语义一致性。我们在 MedMNIST 的多个数据集上评估该框架,通过构建采用不同掩码策略的合成数据集,并仅在真实数据或合成数据上训练 ResNet-18 分类器。实验结果表明,在 TheseusSyn 生成图像上训练的分类器在官方测试集上取得了有竞争力的性能,表明合成数据保留了诊断相关特征和语义一致性。对掩码策略的系统分析揭示了其对结构保真度和下游分类准确率的影响。这些结果表明,上下文条件掩码自回归为无标签医学图像合成提供了一种有效且可泛化的解决方案,为医学影像应用中的传统数据增强和类别条件生成模型提供了一种可扩展的替代方案。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Image and Video Processing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。