arXiv 新研究：大语言模型可自动构建强基线，有效揭示深度学习论文中的基准缺失问题

一句话结论

研究证实使用大语言模型自动构建基线可恢复 95.5% 的预测差距，为科学界深度学习贡献提供可扩展的质量核查手段。

关键要点

• 研究团队从《自然》《科学》及《细胞》家族期刊中精选 36 项涉及监督分类或回归的深度学习研究任务。
• 自动生成的简单基线中位数表现能恢复 95.5% 的预测差距（平均值为 85.7%），该差距指浅层预测器与深度学习模型得分之间的差值。
• 在 36 项研究中有 12 项的自动基线性能达到或超过了原论文提出的深度学习模型性能。
• 研究进一步量化了测试时计算资源投入及不同层级研究上下文信息访问权限对基线构建效果的具体影响。
• 该自动化基线构建流程被证实是一种实际且可扩展的机制，能够有效应对当前同行评审速度跟不上研究文章数量激增的问题。

背景与事实

随着深度学习技术广泛渗透至物理科学与生命科学领域，评估新颖方法真实价值的标准逐渐提高，核心在于必须与恰当的基线模型进行严格对比。当前学术研究中频繁出现一种现象，即所谓的“显著进展”实际上仅仅源于实验设计中遗漏或使用了不合格的基线，导致模型真实能力被高估。为解决这一痛点，这项提交于 2026 年 10 月 28 日的最新计算机科学机器学习方向研究提出了一种基于大语言模型的自动化基线构建方法。

在数据采集阶段，研究人员系统性地从《自然》（Nature）、《科学》（Science）以及《细胞》（Cell）家族等顶级同行评审期刊中，汇编了 36 个针对科学应用场景的深度学习任务。这些任务均属于有监督的分类与回归范畴，涵盖了多个不同的科学领域和出版机构。针对每一个具体的任务，研究框架调用语言模型自动生成对应的简单基线模型，随后在统一的测试环境下评估这些基线与原论文深度学习模型以及平凡预测器之间的性能差距。

实验结果表明，由语言模型自动生成的简单基线具备极强的代表性。在统计指标上，这些基线在 36 项任务中恢复了 95.5% 的中位预测差距，其平均值为 85.7%。更为引人瞩目的是，在 36 项研究中，有 12 项研究的自动构建基线在最终评估中达到了甚至超越了原论文所提出的复杂深度学习模型的性能表现。此外，该研究并未止步于单一场景，而是深入考察了不同科学领域和期刊发表位置可能带来的变异性。同时，研究还专门设计了实验以刻画测试时计算资源分配以及获取不同上下文层级信息对自动生成基线效果的具体影响。

影响分析

对于从事深度学习的中文开发者与算法研究员而言，这一研究结果提供了极具操作性的方法论指导。在实际项目复现或论文撰写过程中，研究者过去往往需要耗费大量时间手工调整简单基线，且极易因主观设定导致基线过于简单而产生虚假的优越感。当前基于语言模型的自动化构建方式，能够迅速生成高质量且符合任务特性的简单模型，使开发者能够在极短的时间内完成基线验证。

从更深层次的行业影响来看，这将显著降低深度学习模型的评估门槛与验证成本。当自动生成的简单基线能够轻易匹配复杂模型时，开发者可以借此快速识别技术改进是否真实有效，或者是否需要转向更具挑战性架构的探索。对于正在搭建自动化 MLOps 流水线的工程团队，将该类大语言模型自动构建能力嵌入评估环节，能够建立起一道可靠的质量防线，从源头上减少因基线缺失导致的无效研发资源消耗。此判断表明，模型评估的自动化程度将成为衡量科研与工程实践严谨性的重要标尺。

适用边界

需要严格界定的是，该研究结论基于 36 项特定于顶级物理与生命科学期刊的分类与回归任务，其结果不能无限外推至所有机器学习场景。对于涉及无监督学习、强化学习、生成式模型（如扩散模型或大语言模型微调）以及多模态对齐任务，自动构建简单基线的可行性与有效性尚未在本研究中得到验证。此外，由于自动基线主要依赖于语言模型对任务上下文的解析能力，对于缺乏明确标签定义、数据高度非结构化或具有极强领域特定领域规则的冷门任务，其性能恢复率可能会大幅偏离 95.5% 的中位数水平。因此，在将这一自动化流程应用于非经典科学分类回归任务时，必须辅以人工专家深度审查。

孤本观察

基于本次研究数据，语言模型在“生成”而非“微调”复杂模型方面展现出的强大推理能力令人印象深刻。当 12/36 的高比例简单基线能够直接超越复杂模型时，它揭示了科学界大量现有深度学习论文的贡献可能仅仅是复杂度的堆砌而非实质性突破，这一数据本身即是推动该领域评估标准向更严苛方向演进的明确信号。

来源：arXiv cs.LG