子空间节点剪枝

节点剪枝是一门移除计算单元（如神经元、滤波器、注意力头，甚至整个层）以显著减少推理时间、同时保持网络性能的技术。在本工作中，我们表明，从基于激活的度量到基于 Fisher 的度量，一大类重要性度量共享一种共同的二次型。通过下三角基变换，这种形式产生一个剪枝子空间，在其中可以移除整个节点，同时通过线性最小二乘同时恢复丢失单元的影响。此外，通过对层激活进行正交化，我们子空间内的重要性度量被解耦并可加，从而允许在层内进行多节点剪枝，而不会在重要性分数之间产生干扰。我们的方法——子空间节点剪枝（SNP）——在 ImageNet 上的 VGG-16 和 ResNet-50 上优于所比较的基线。在 OPT-125M 和 LLaMA-2 7B 上，SNP 在 40-shot 调度下与最先进的 LLM Surgeon 持平，并且在使用的 shot 更少时优于它，且剪枝后均无需任何再训练。

中文由 AI 翻译，仅供参考，以原文为准。