向量策略优化：为多样性训练提升测试时搜索

语言模型现在必须开箱即用地泛化到新环境，并在推理扩展的搜索流程（如 AlphaEvolve）中工作，这些流程使用各种任务特定的奖励函数来选择 rollout。不幸的是，LLM 后训练的标准范式优化的是预先指定的标量奖励，这往往导致当前 LLM 产生低熵的响应分布，从而难以展现出推理时搜索所需的多样性。我们提出向量策略优化（Vector Policy Optimization, VPO），一种显式训练策略以预见多样化的下游奖励函数并产生多样化解的强化学习算法。VPO 利用了实践中奖励往往是向量值这一特点，例如代码生成中的逐测试用例正确性，或者多个不同的用户画像或奖励模型。VPO 将多答案提示与集合级奖励相结合，训练 LLM 产生一组解，这些解专门针对向量奖励空间中不同的权衡。在四个任务上，VPO 在测试时搜索（例如 pass@k 和 best@k）上匹配或超越了最强的标量强化学习基线，且随着搜索预算增长，差距进一步扩大。对于进化搜索，VPO 模型能够解锁 GRPO 模型完全无法解决的问题。随着测试时搜索成为标准，多样性或许需要成为默认的后训练目标。

中文由 AI 翻译，仅供参考，以原文为准。