arXiv · Signal Processing· Alexandra G. Roberts, Maneesh John, Jinwei Zhang 等 13 人
· 22 小时前
用于有限数据下高效标记化的频谱视觉Transformer
Spectral Vision Transformer for Efficient Tokenization with Limited Data
预印本 · 尚未经过同行评审
AI 导读
频谱ViT以固定基系数代替空间图像块进行标记化,在数据稀缺的医学影像等基准上表现更优或相当。
摘要 · AI 翻译
视觉 Transformer 将图像 token 化为图像块,这使 token 数量与分辨率相耦合,并且需要从数据中学习嵌入。我们提出一种谱视觉 Transformer 架构,用于在有限数据条件下实现高效 token 化,重点关注医学影像。我们不使用空间图像块,而是将图像 token 化为固定基的系数。该方法将每个 token 定义为一个谱模式,序列长度是人为选定的,而非由分辨率隐含决定,从而降低了注意力计算的开销。在公共医学影像基准、自然图像、物体形状、仿真以及受保护的临床数据等数据稀缺的场景中,我们提出的谱 ViT 表现出更优或相当的性能。我们已在以下地址发布代码:https://github.com/agr78/SpectralViT。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Signal Processing · arxiv.org