先测量再修复:一种用于多伪影三维 MRI 盲修复的可解释智能体
Measure Before You Repair: An Explainable Agent for Blind Restoration of Multi-Artifact 3-D MRI
预印本 · 尚未经过同行评审
Dx-Rx 智能体先诊断后修复三维 MRI 伪影,平均去除 64.5% 伪影误差,未使任何体积变差。
脑部 MRI 扫描可能携带未知混合的伪影,因此恢复必须是盲目的,然而大多数深度学习方法是为校正某一种已知伪影而构建的。我们提出 Dx-Rx,这是一个智能体,其中多模态大语言模型(MLLM)在修复之前先测量疑似伪影。据我们所知,它是首个恢复完整三维 MRI 体数据的智能体,而此前的 MRI 智能体只恢复二维切片。在一个循环中,它查看三维体数据的切片,以任意顺序调用五种诊断工具(噪声、尖峰、鬼影、偏置场、运动)和四种恢复工具,检查每次修复,可以返回任何较早版本以改变顺序,最后以放射学风格报告其诊断理由、所应用的修复及其结果。我们在 148 个完整三维 T1 加权体数据上模拟了最多五种伪影,其水平按放射科医生对真实扫描的分级进行校准。仅查看图像的 MLLM(如早期 MRI 智能体所做的那样)最多去除 19.7% 的伪影误差。在五个 MLLM 中最好的一个配合下,Dx-Rx 平均去除了 64.5%,几乎与相同工具在给定真实伪影(临床扫描中从不可知)时的 64.6% 相当。在所有五个模型下,它没有使任何体数据变差,并且与由相同工具构建的专家规则流水线(62.3%)持平或更好。代码和演示公开于 https://itu-biai.github.io/measure-before-you-repair。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Image and Video Processing · arxiv.org