结构感知的稀疏视角X射线三维重建
Structure-Aware Sparse-View X-ray 3D Reconstruction
预印本 · 尚未经过同行评审
SAX-NeRF用线段Transformer建模X射线内部结构,在新视角合成和CT重建上分别超过此前NeRF方法12.56和2.49 dB。
X 射线以其揭示物体内部结构的能力而著称,相比可见光有望为三维重建提供更丰富的信息。然而,现有的神经辐射场(NeRF)算法忽视了 X 射线的这一重要特性,导致其在捕捉成像对象的结构内容方面存在局限。本文提出了一种用于稀疏视角 X 射线三维重建的框架——结构感知 X 射线神经辐射密度场(SAX-NeRF)。首先,我们设计了基于线段的 Transformer(Lineformer)作为 SAX-NeRF 的主干网络。Lineformer 通过对 X 射线中每条线段内部的依赖关系建模,捕捉物体在三维空间中的内部结构。其次,我们提出了一种掩码局部-全局(MLG)射线采样策略,以提取二维投影中的上下文与几何信息。此外,我们收集了规模更大的数据集 X3D,覆盖更广泛的 X 射线应用。在 X3D 上的实验表明,SAX-NeRF 在新视角合成和 CT 重建上分别超越此前基于 NeRF 的方法 12.56 和 2.49 dB。代码、模型和数据发布于 https://github.com/caiyuanhao1998/SAX-NeRF 。我们的项目主页 https://caiyuanhao1998.github.io/project/SAX-NeRF/ 展示了更多视频和交互式结果。在线 Gradio 演示可在 HuggingFace 上获取:https://huggingface.co/spaces/CaiYuanhao/SAX-NeRF
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Image and Video Processing · arxiv.org