arXiv · Signal Processing· Omer Nezih Gerek
· 4 天前
最终层交叉熵损失的锥形结构及其在整流骨干网络中的缺失
Conic Structure of the Cross-Entropy Loss at the Final Layer and Its Absence in Rectifier Backbones
预印本 · 尚未经过同行评审
AI 导读
分析表明,仿射最终层上softmax交叉熵损失为多面体锥加单调递减偏移,整流骨干中沿线的折点不形成与斜率相当的折痕。
摘要 · AI 翻译
在参数空间中沿直线和平面截取的损失切片被广泛用于可视化深度网络。它们通常呈现出一个壁面近乎笔直的单盆地,这引出了一个问题:这样的损失究竟是一个在顶点处被磨圆的锥体,还是若干个沿折痕相交的锥体的下包络。我们针对分类器两个层面上的 softmax 交叉熵回答这个问题。在仿射最终层的权重上,损失等于一个多面体锥加上一个偏移量,该偏移量沿每条射线单调且指数式递减,趋向一个闭式极限。渐近壁面达到起点高度处的距离(我们称之为核心半径)等于该方向所偏好的类别的平均惊奇度除以壁面的斜率。在整流器骨干网络的参数上,沿一条直线的损失在样本激活模式发生变化的任何位置都有一个折点。利用半代数集的维数理论,我们证明:沿几乎每一条直线,在同一点处切换的样本共享其预激活多项式的一个不可约因子。在互素条件下,每个折点因此承载一个样本在 $n$ 个样本中的份额,于是不会形成与斜率相当的折痕。在 CIFAR-10 上训练的 ResNet-18 和 ResNet-56 上的测量结果印证了这两项结论,并附带一项检验,用于界定采样损失值可能掩盖的任何折痕的大小。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Signal Processing · arxiv.org