何时辅助与建议什么：紧凑解码器中的联合门控与基于记忆的提示生成

主动式助手会在对话中提供简短、基于记忆的提示，并决定何时提供帮助以及建议什么。当前系统将这一过程拆分为一个门控和一个更大的生成器；我们在 28,058 个决策点上对二者进行联合评估。分阶段生成分数是 oracle 门控的上限：在真实门控之后，端到端精确匹配为 0.2619，而上限为 0.2971，端到端精确率为 0.2387，仍有相当大的提升空间。门控通过精确率和计算量带来收益，其节省从 8B 生成器的 4.39 倍降至 1B 生成器的 1.38 倍。记忆画像决定提示质量：移除它会损失 24.7 个精确匹配点（重标定 BERTScore 从 0.57 降至 0.35），而检索和更大的生成器在精确匹配上没有增加任何收益。一个 1B 解码器可以同时完成两项任务，从中间层进行门控并在同一遍中生成。在其最终检查点上，它在自动端到端指标上匹配或超过双模型流水线，且挂钟时间比匹配的 1B 流水线少 1.31–1.76 倍；在三个随机种子下，其更深的出口与单独的门控持平。人工评估（32 段对话上的 1,144 次评分）支持记忆效应，并将单模型评为与匹配的 1B 流水线相当、低于 8B 流水线。分级指标和 LlamaPIE 的原生评判比精确匹配更贴近人工评分，我们将其报告为严格下界。

中文由 AI 翻译，仅供参考，以原文为准。