前向传播中的工具：冻结磁带模块作为小型语言模型的层

一项尚未经同行评审的预印本报告了一种把“冻结磁带模块”作为层嵌入小型语言模型前向传播的做法。研究称，将该模块嵌入 gemma-3-1b-it 后，在 BIG-Bench Hard 的物体追踪任务 750 道题上全部答对，GPU 内核耗时约为文本工具基线的十分之一。上述结果仅针对该模型、该任务与这一评测集，属于作者在预印本中的报告，尚不能推广到其他模型、任务或真实使用场景。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。