自动构建强简单基线

为了严格确立一种新型深度学习方法的价値，必须将其与适当的基线进行比较。随着深度学习在物理与生命科学中日益普及，已出现许多案例，其中表面上的进展最终被证明是省略或缺失基线所造成的假象。在本工作中，我们研究是否可以通过使用大语言模型来自动化构建基线来缓解这一问题。我们从发表在 Nature、Science 和 Cell 系列期刊上、研究面向科学应用的新型深度学习方法的同行评审研究中，汇集了 36 个监督分类与回归任务。随后，我们使用语言模型为每个任务构建简单基线。这些自动构建的基线表现强劲，在平凡预测器与深度学习模型得分之间的差距中，中位数恢复了 95.5%（均值 85.7%）。在 12 项研究中，中位数简单基线达到或超过了深度学习模型的性能。我们进一步考察了跨科学领域和发表载体的差异，并刻画了测试时计算量以及获取不同层次研究背景信息的影响。由于近年来人类同行评审难以跟上快速增加的研究论文数量，我们的结果表明，自动化基线构建是对物理与生命科学中深度学习贡献的一种实用且可扩展的检验。

中文由 AI 翻译，仅供参考，以原文为准。