精确融合 Softmax 注意力头可能需要指数级多的原子

2026年11月3日，一篇发布在 arXiv 计算机科学预印本平台「神经与进化计算」分类下的预印本（尚未经同行评审）给出了一个关于 Softmax 注意力头融合的表示复杂度结果：当把多个各自独立归一化的注意力头融合为单个头时，若要求精确表示，所需原子数可达 2^d；该下界在误差小于 1/2 时仍然成立。报道未涉及实验验证或具体应用场景，结论限于该理论设定下的表示复杂度。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。