通过噪声对齐视图生成打破自监督学习中的噪声捷径
Breaking Noise Shortcuts in Self-Supervised Learning Via Noise-Aligned View Generation
预印本 · 尚未经过同行评审
SEANA 模块通过生成噪声对齐视图,在合成噪声与真实荧光成像上提升自监督学习的表征质量。
自监督学习(SSL)正越来越多地应用于科学成像领域,例如显微成像,在这些领域中标签稀缺但噪声数据充足。这些领域表现出显著的信号依赖噪声,这可能形成一种表征捷径:由于两个增强视图都源自同一张噪声图像,编码器可以通过同时编码噪声模式而非语义内容来提高视图一致性。为了在无需了解底层噪声模型的情况下实现噪声鲁棒的表征学习,我们提出了自对齐噪声增强(SEANA),这是一个即插即用模块,可生成噪声感知的 SSL 视图。SEANA 从噪声数据中学习可逆的方差稳定变换(VST),然后在学习到的 VST 空间中估计干净信号并重采样独立噪声,无需干净目标、无需训练数据集特定的去噪器或在推理时使用去噪器,也无需更改 SSL 目标或编码器。在合成高斯噪声、泊松-高斯噪声和乘性噪声下的 CIFAR-10 和 ImageNet-100 上,SEANA 在对比式/非对比式 SSL 方法中均提升了干净测试集线性探测准确率,表明表征质量更高。在真实荧光成像上,SEANA 将 Jurkat 细胞周期阶段分类相比标准 SSL 提升最多 28.6 个百分点,相比去噪器预处理基线提升 27.5 个百分点。在所有设置中,SEANA 均优于去噪器预处理的 SSL 流程,表明学习到的 VST 空间噪声对齐重采样比单独去噪能产生更鲁棒的表征。代码见:https://github.com/opatil31/SEANA
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Image and Video Processing · arxiv.org