精确融合 Softmax 注意力头可能需要指数级多的原子

融合独立归一化的注意力头会增加为保持其输出所需的显式键值条目（即原子）数量。我们针对 $W_d(q)=\sum_{j=1}^d\sigma(q_j)$ 证明了一个严格的分离：其 $d$ 个双原子头使用 $2d$ 个头-原子项，而其最小单头表示恰好需要 $2^d$ 个原子，即使允许任意固定的替换键、标量值和正质量。同样的下界对 $\mathbb R^d$ 上任意低于 $1/2$ 的固定均匀误差成立，且该阈值是紧的。证明使用了暴露键法锥；在任何非空开查询域上的精确相等都会继承该界。由此得到的固定头数下的原子界在该头数整除 $d$ 时是紧的。一个归一化族在固定半径查询球上趋近于常数的同时，保持其指数级精确最小值。对于预训练模型的缓存，一个经典的仿射秩界和一个经认证的实例排除了在指定原子数下精确保持向量的可能。在两个不相交的 64 个上下文库上的学习缓存比较显示出依赖于预算的反转和校准效应。

中文由 AI 翻译，仅供参考，以原文为准。