小科学家：科学方法为 LLM 智能体带来了什么？

科学发现产生于假设、实现、实证检验与反馈的循环之中。这一过程能否被自动化？我们从科学方法的视角出发来研究自动化算法设计，其中基于 LLM 的智能体以迭代方式走完这一过程的每一步。结果：我们提出 The Little Scientist，一个将科学方法映射到循环中 LLM 智能体的框架：Scientist 智能体在一个返回结构化诊断信息的评估环境内迭代进行假设、预测、代码、测试与调和，而 Kuhn 智能体则在平台期注入范式转换式的重构。在 DNA 基序发现任务上，该过程从零编写了一个算法（DALE），在打乱负样本基准上于 132 个 ENCODE 转录因子上优于 STREME（平均 AUROC 0.842 对 0.803），同时运行速度快 11 倍。随后我们追问这一方法为何有效，而这个问题成为了论文的科学核心：对框架自身脚手架进行的一项预注册、受控的拆解，由十个消融实验组对照一次性 bandit 零假设构成。答案推翻了前提。十个循环实验组中有七个未能击败从同一模型和同一提示中采样的 bandit，完整脚手架在 7-8 倍 token 成本下表现低于盲采样，而一个完全不含框架的 floor-prompt 实验组在得分和每 token 价值两方面均胜出。在一个留出的基因组基准上，最佳循环产物与最佳 bandit 采样结果相差在 0.002 以内，而初始实验中的 DALE 算法得分与之相近。趋同的图景是：LLM 智能体无法凭推理超越训练所置入权重中的内容。据此证据，自动研究（autoresearch）是采样、选择与重组，这正是 Evolve 系列架构在放弃草稿本推理、选择种群与外部选择时所下的赌注，也是这些选择之所以正确的原因。

中文由 AI 翻译，仅供参考，以原文为准。