跳到正文
原文
arXiv · Neural and Evolutionary Computing· Edgar A. Duéñez-Guzmán, Eduardo Dueñez, Edgar Said Hernandez Sanchez 等 4 人
· 22 小时前

解释的代价:要求可验证产物付出什么成本,又换回什么

The Price of an Explanation: What Demanding Verifiable Artifacts Costs, and What It Buys Back

预印本 · 尚未经过同行评审

AI 导读

在ARC-AGI-2上要求LLM给出可执行程序使得分从93降至68,瓶颈在于解释难以泛化。

摘要 · AI 翻译

生成模型会产生许多候选解,却不提供任何内在信号来对它们排序。一种缓解办法是要求一个\emph{可验证的产物}:一个能针对现有证据执行的程序。一个常见的担忧是,要求可执行验证会在解的质量和计算预算两方面带来代价。我们在 $120$ 项任务的 ARC-AGI-2 评测集上测量了这两项代价。要求 LLM 给出可验证产物,使得分从 $120$ 项任务中的 $93$ 项降至 $68$ 项($77\%$ 降至 $57\%$)。在这 $25$ 项任务中,有 $21$ 项在我们运行过的任何能产出程序的配置下、在任何预算下、无论通过采样还是搜索都未能触及;然而,在仅由纯答案分支解决的 $28$ 项任务中,有 $27$ 项存在某个程序分支持有这样一个程序:它复现了每一个演示示例,却仍然未通过测试。瓶颈在于获得一个\emph{能泛化}的解释,而非找到一个解释。对两个已经采样得到的程序进行简短的进化搜索,不增加任何模型开销,比 best-of-$2$ 采样代码多解决 $9.2 \pm 1.4$ 项任务,比单次采样程序多解决 $9.9 \pm 1.3$ 项任务。此外,由于程序可以对照训练示例进行检查,任何能产出程序的协议都可以在任务一旦被解释后提前终止:在相同的停止规则下,best-of-$n$ 采样最多可节省其预算的 $38\%$,进化分支最多可节省 $49\%$,而纯答案基线无法提前终止。将同样的方法应用于量子纠错的解码器合成,可在留出的考试采样上,针对一组经认证的已发表解码器,得到可解释的解码器。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Neural and Evolutionary Computing · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。