arXiv 发布逆向推理模型，利用纯答案数据高效实现大模型后训练与验证

一句话结论

一项新技术通过逆向推理模型将思维链视为潜在变量，利用纯答案数据在持续后训练中显著提升了难例通过率。

关键要点

• 逆向推理模型将思维链（CoT）视为潜在变量，在仅有提示-答案数据时实现了高效的自蒸馏后训练。
• 在 Countdown 与 GSM8K 基准上，离线蒸馏轮次使难例提示的 pass@1 通过率提升至约两倍的规模。
• 在 Countdown 任务中，逆向模型的逆向选择策略在所有混合比例下均优于拒绝采样自蒸馏。
• 逆向模型可兼作推理结果的正确性验证器，在 Countdown 上将 best-of-n 准确率从 0.753 提高至 0.969。
• 该方法在 GRPO 训练饱和后接入，且推理生成过程均在离线阶段完成，适合持续后训练场景。

背景与事实

论文《Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data》提交于 2026 年 1 月 1 日，归属于机器学习（Machine Learning）领域。研究团队指出现有后训练方法存在两难选择：监督微调需要带完整推理轨迹的数据，而现实应用中大量数据仅有提示与答案；强化学习虽可使用可验证奖励且无需思维链数据，但计算效率极低。

论文提出了一种将思维链视为潜在变量的自蒸馏中间路线。具体而言，研究团队训练了一个独立的“逆向推理大语言模型”，该模型根据已知答案反向生成原始思维轨迹。该逆向模型训练一次后即可跨批次复用，所有推理轨迹生成均在离线阶段预先完成。实验基于 Qwen3-0.6B 模型，在 Countdown 和 GSM8K 两个基准任务上评估。结果表明，在 GRPO 强化学习训练饱和后，单轮离线蒸馏可使难例提示的 pass@1 通过率提升约两倍。

进一步分析显示，在 Countdown 任务的所有困难尾部指标及混合比例设置下，该方法均优于拒绝采样自蒸馏。在持续对新生成数据执行 GRPO 强化学习的情况下，该方案在难例 pass@1 指标上保持领先，但在 pass@8 与 pass@32 指标上落后于持续蒸馏方案。此外，逆向模型可二次利用为精确的正确性验证器，在测试阶段执行 best-of-n 选择时，将 Countdown 的准确率从多数投票的 0.753 提升至 0.969。

影响分析

对于中文大模型开发者而言，该研究提供了一种在不依赖昂贵人工标注思维链的情况下，高效利用纯答案数据进行模型能力迭代的路径。对于仅掌握提示与答案语料但缺乏推理轨迹的行业从业者，逆向推理模型显著降低了数据门槛与计算成本。需要注意的是，这是一项分析判断，该方法的核心收益建立在模型已具备基础推理能力并经过 GRPO 饱和的前提上，不适用于从零开始的基础模型训练场景。

适用边界

本技术路线依赖模型在特定任务上达到一定的基础准确率水平，无法解决模型完全无法生成有效候选答案的极端困难任务。该方案的优势集中在具备确定性答案或可验证奖励的数学与逻辑类基准任务中，在开放式生成、长文本摘要或无明确对错评判标准的复杂现实场景下，逆向生成思维链的有效性未经验证。

孤本观察

从编辑视角判断，该研究将逆向生成思想应用于大模型自蒸馏，不仅解决了数据效率痛点，还通过单次离线预生成的机制为持续后训练提供了可落地的工程路径。这一范式可能重塑现有大模型评测与后训练领域的数据处理流程。

来源：arXiv cs.LG