Darwin Family：MRI-Trust 加权进化合并，用于语言模型推理的免训练扩展
Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning
预印本 · 尚未经过同行评审
该预印本已被 arXiv 管理员撤稿，理由是不符合其研究内容质量标准。
我们提出 Darwin Family，一个通过无梯度权重空间重组实现大语言模型免训练进化合并的框架。我们探究是否能在不额外训练的情况下，通过重组已编码在现有检查点中的潜在能力，提升前沿水平的推理性能。Darwin 引入三个关键思想：(i) 一个 14 维自适应合并基因组，支持细粒度的组件级与块级重组；(ii) MRI-Trust Fusion，通过一个可学习的信任参数，自适应地平衡诊断性层重要性信号与进化搜索；(iii) 一个 Architecture Mapper，支持异构模型家族之间的跨架构繁育。在实证上，旗舰模型 Darwin-27B-Opus 在 GPQA Diamond 上达到 86.9%，在 1,252 个受评估模型中排名第 6，并在没有任何基于梯度的训练的情况下超越其完全训练的基础模型。在从 4B 到 35B 参数的各规模上，Darwin 模型始终优于其父代，支持递归的多代进化，并实现了一种免训练的进化合并，将基于 Transformer 和基于 Mamba 的组件结合起来。总之，Darwin Family 表明，诊断引导的进化合并是面向以推理为核心的语言模型的一种实用且可复现的替代方案，可取代昂贵的后训练流水线。
中文由 AI 翻译，仅供参考，以原文为准。
来源：arXiv · Neural and Evolutionary Computing · arxiv.org