分块可加性何时失效？诊断并修复基于蒸馏的架构搜索中的可加性假设
When Does Blockwise Additivity Break? Diagnosing and Repairing the Additive Assumption in Distillation-Based Architecture Search
预印本 · 尚未经过同行评审
在 DeiT 架构搜索中，分块可加性假设在 55%-40% 压缩预算下明显失效，混合搜索以更低成本优于成对建模。
用于架构搜索的分块蒸馏方法（如 DNA、DONNA、LANA 和 Puzzle）孤立地为每个候选替换块打分，并通过最小化各块分数之和来组装子网络。我们在 DeiT-S 和 DeiT-B 上检验这一可加性假设，每层有七个替换块、七个从 70% 到 40% 的块延迟预算、三个微调随机种子，并使用配对 bootstrap 置信区间。(i) 在轻度压缩下，可加整数线性规划（ILP）接近建模块间交互的成对整数二次规划（IQP），但微调后的差距在 60% 与 55% 预算之间急剧扩大：在 55%-40% 时，ILP 在 ImageNet-100 上落后 IQP 3.3-16.6 个 top-1 点。(ii) 我们将 KL 可加性误差拆分为度量分量与函数分量：前者由 KL 对求和 logit 变化的非线性引起，可由缓存的单块 logit 计算；后者是非可加 logit 变化在分数层面的效应。在 DeiT-S 上度量分量占误差的大部分（59-65%），在 DeiT-B 上函数分量占大部分（73-76%）。(iii) 一种混合搜索用 logit 求和预测器对移动排序，只测量最好的那些。它不需要专门的成对测量，成本为 IQP 成对阶段的 13-27%，并且在 ImageNet-100 上于 14 个设置中的 7 个显著优于 IQP，6 个无显著差异，1 个显著落后。进一步降低微调前的 KL，或在短微调后打分，均无一致收益。在完整 ImageNet-1k 上使用 1000 类微调时，60% 与 55% 之间的急剧扩大（55%-40% 时为 5.8-17.5 点）、依赖模型的分解以及混合方法的优势（在 14 个设置中的 13 个显著优于 IQP，另一个无差异）均得到复现。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neural and Evolutionary Computing · arxiv.org