明度错觉与反射率估计的显著图在多种深度神经网络架构间相似
Lightness illusions and saliency maps for reflectance estimation are similar across a wide range of deep neural network architectures
预印本 · 尚未经过同行评审
人能在光照和背景大幅变化时仍保持对表面反射率的判断,这种能力称为明度恒常性。研究用三维场景渲染图训练 ResUNet、VGGUNet、MobileUNet 和 Dense Prediction Transformer 四类网络估计反射率,并比较初始编码阶段使用预训练权重与全部权重为反射率估计优化的两种训练方式。结果显示各架构在留出图像上的反射率估计表现相近,都易受若干经典明度错觉影响,显著图分析也显示空间敏感性大体相似。材料仅为摘要,未给出具体网络数量与效应量。
人们执行许多视觉任务,这些任务依赖于即使在光照和上下文发生巨大变化时仍与表面反射率保持相关的表征。这种能力被称为“明度恒常性”。开发可计算图像的明度恒常性模型一直具有挑战性,但我们最近表明,经过训练用于反射率估计的深度神经网络在一些明度任务上取得了良好表现,并且还容易受到与人类观察者相同的许多明度错觉的影响。在这里,我们通过测试这些发现是特定于我们先前工作中使用的网络架构,还是广泛适用于不同架构和训练程序,来扩展这项工作。我们评估了一系列架构(ResUNet、VGGUNet、MobileUNet 和 Dense Prediction Transformer),这些架构经过训练,用于从三维场景的渲染图像中估计反射率。我们比较了初始刺激编码阶段使用为其他任务学习到的预训练权重的网络,以及所有权重都针对反射率估计进行优化的网络。我们发现,所有测试的架构和训练程序在留出图像上产生了相似的反射率估计性能,并且容易受到几种经典明度错觉的影响。此外,显著性分析表明,所有网络在输入图像上的空间敏感性大致相似。总之,这些结果表明,明度恒常性和对明度错觉的易感性并不强烈依赖于网络架构和训练的细节,而是常常在已被优化为从亮度推断表面反射率的网络中稳健地涌现。
中文由 AI 翻译,仅供参考,以原文为准。
来源:bioRxiv · Neuroscience · biorxiv.org