刻画跨视觉模型的通用物体表征
Characterizing universal object representations across vision models
预印本 · 尚未经过同行评审
不同架构、目标和训练数据的深度神经网络会收敛到相似的视觉表征，但收敛在哪些视觉属性上并不清楚。研究把 162 个视觉模型的物体相似性结构分解为一组非负维度，统计每个维度在不同模型中重现的频率，发现通用维度比模型特有维度更可解释、更受图像概念属性驱动，且架构、目标函数、训练数据、模型规模和性能都不能解释通用维度的出现。拥有更多通用维度的模型对猕猴颞下皮层活动和人类相似性判断的预测更好。
把 162 个视觉模型的物体相似性结构分解为非负维度，统计各维度跨模型重现频率，并检验其与猕猴颞下皮层活动及人类相似性判断的关系。
据报道，使用不同架构、目标和数据集训练的深度神经网络会收敛到相似的视觉表征。然而，目前尚不清楚模型究竟在哪些视觉属性上收敛，以及哪些因素可能是这种收敛的基础。为解决这一问题，我们将162个多样化视觉模型的物体相似性结构分解为一小组非负维度。为了确定普遍维度与模型特定维度，我们随后估计每个维度在不同模型间重现的频率。与模型特定维度相比，普遍维度更具可解释性，并且更强烈地由概念性图像属性驱动，这表明可解释性和语义内容作为驱动模型间普遍性的隐含因素具有相关性。架构、目标函数、训练数据、模型规模和模型性能的差异并不能解释普遍维度的出现。然而，具有更多普遍维度的模型也能更好地预测猕猴IT活动与人类相似性判断，这表明普遍性反映了与生物视觉相关的表征。这些发现对于理解深度神经网络模型背后的涌现表征及其与生物视觉的对齐具有重要意义。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neurons and Cognition · arxiv.org