深度何时对上下文学习重要?深度Transformer中的自适应推断
When Does Depth Matter For In-Context Learning? Adaptive Inference in Deep Transformers
预印本 · 尚未经过同行评审
堆叠多层注意与前馈模块相比单个模块能带来什么计算优势尚不清楚。作者针对广义线性注意Transformer提出受通信与深度约束的分布式推断理论,预测在上下文线性回归任务中单层网络适合高斯先验,多层网络适合非高斯树状先验;训练后的线性注意Transformer复现了理论预测,因果关键修补实验显示中间层的函数向量介导信息的自适应路由。
Transformer 通过许多连续的注意力块和前馈块执行计算,使其能够学习大量耦合变量之间的复杂相关性。当把连续的注意力-前馈计算堆叠到许多层时,何时会比单个 transformer 块具有计算优势?我们通过考察广义线性注意力 transformer 中的上下文学习来回答这个问题。我们首先引入此类 transformer 中分布式推理的一般理论,该理论受通信和深度约束。我们表明,此类系统可以利用内部表征(`函数向量')在其各层上以越来越精细的尺度推断潜在上下文变量。对于上下文线性回归任务,该理论预测:无前馈块的单层 transformer 在上下文变量服从高斯先验时最优,而多层 transformer 在非高斯、树状先验下更优。训练后的线性注意力 transformer 重现了该理论的定量预测。通过因果关键修补实验,我们验证了中间层中的函数向量介导信息的自适应路由。我们的结果表明,深度和前馈块使 transformer 能够实现自适应推理,并且当潜在变量的分布具有层次结构时,这是有利的。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Neurons and Cognition · arxiv.org