面向长时程LLM智能体的模型内上下文压缩与智能体软令牌

长程 LLM 智能体在解决复杂且持续的任务中发挥着重要作用，其交互上下文不断增长。然而，这些累积的上下文会带来可观的计算开销，并掩盖与决策相关的关键证据。现有方法通常训练外部压缩器或上下文管理智能体，将上下文重写为更短的硬 token 序列，但这种外部选择可能与 LLM 不断演化的表示不一致，并且必然是有损的。本文提出 Agentic Soft-Token Compression（ASTC），一种无需训练的压缩方法，在 LLM 智能体内部使用软 token 处理长程任务。具体而言，ASTC 利用模型原生的循环动力学来确定已被吸收的信息，借助常用的混合 Gated Delta Network（GDN）-attention 实现。随后，它将这些信息作为 agentic soft token 向前传递，同时将精确值保留为硬 token。由此得到的紧凑序列减少了后续层的计算，并产生可复用的 KV 缓存，将节省扩展到智能体的整个轨迹。长程任务上的大量实验表明，ASTC 在端到端 Attention Pairs 最多减少 50.68% 的情况下，达到或超过未压缩智能体的准确率，而训练过的压缩器每个成功任务需要多 15.4 至 103.7 倍的 Attention Pairs。这些发现凸显了 agentic soft token 作为一种模型原生方式，可在任务表示演化过程中将已吸收的上下文向前传递。

中文由 AI 翻译，仅供参考，以原文为准。