Harness-Zero:通过智能体即执行框架的框架蒸馏
Harness-Zero: Harness Distillation via Agent-as-Harness
预印本 · 尚未经过同行评审
Harness-Zero 将专用执行框架的行为蒸馏进模型权重,部署时移除框架后任务成功率从23.3%升至44.3%。
Agent harness(智能体运行框架)是中介模型与环境交互的外部系统,能显著提升智能体表现,但其收益在部署时仍与所用 harness 绑定。由于最佳 harness 因领域、实例和模型而异,通用智能体要么退而采用次优的共享 harness,要么在日益增多的专用 harness 之间进行路由。因此,我们研究 agent harness 蒸馏:将针对领域或实例优化的 harness 作为训练时指导,并把其诱导出的行为迁移进模型权重,使收益在单一固定目标 harness 下依然保留。难点在于两个 harness 的动作空间与可用信息不同,因此优化 harness 的指导不能直接作为目标 harness 的监督。我们提出 Harness-Zero,通过 agent-as-harness 实现 harness 蒸馏。在优化 harness 的指导下,一个 harnessing agent 在目标 harness 的动作空间中于执行前修正学生响应,从而将 harness 指导转化为训练示范。在所得轨迹上微调可将 harness 诱导的行为内化到模型中,因此专用 harness 可在部署时移除。我们在知识工作、工具使用和科学领域的实验表明:(1) 对于使用同一演化 harness 的前沿 LLM,agent-as-harness 优于 code-as-harness。(2) 在部署时移除专用 harness 的情况下,Harness-Zero 将基座模型的宏平均任务成功率从 23.3% 提升至 44.3%,甚至超过仍挂载该 harness 时达到的 41.7%,同时将推理 token 用量降低 27%-86%。(3) Harness-Zero 恢复了基座模型中缺失的 harness 诱导行为,在三个领域的 28 种模式上平均恢复率达 82.3%。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Neural and Evolutionary Computing · arxiv.org