RLVR 跨领域增益主要源于答案格式而非模型能力

一句话结论

可验证奖励强化学习模型的跨领域得分提升主要源自答案格式化适配，而非模型推理能力的真实提升。

关键要点

• 在 4 组已发布的 7B 参数 SimpleRL 基础 - 强化学习模型对中测试发现，82% 的跨领域多项选择题增益在改用自研提取器后消失。
• 使用独立大语言模型读取者替代自研提取器时，格式导致的增益占比为 77%；使用请求方框的提示词时，自研提取器测得占比为 79%。
• 研究基于可验证奖励的强化学习（RLVR）机制指出，模型若学会将答案写入提取器查找的特定位置（如 \boxed{}），可在不提高回答准确性的情况下提高得分。
• 在一组采用不同训练配方的 32B 参数模型对中，报告的增益几乎非格式增益，因为其基础模型在被要求时已使用方框，而强化学习模型在未要求时极少使用。
• 附属文件数据涵盖 BBH、GSM8K、MATH500、MMLU、MMLU_PRO、SAT_MATH 及 ARC_C 等测试集，支持对报告增益中读取提取器属性结果的重新评分验证。

背景与事实

2026 年 10 月 2 日，论文《Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?》提交至 arXiv 计算机科学机器学习领域。该研究针对基于可验证奖励的强化学习（RLVR）模型展开深入分析，指出此类模型若学会将答案写入提取器查找的特定位置（例如 \boxed{}），即便未提升回答本身的准确性，也能在评测中获取更高分。核心实验选取了 4 组已发布的 7B 参数 SimpleRL 基础 - 强化学习模型对进行测试，结果显示 82% 的跨领域多项选择题增益在改用自研提取器后完全消失。这一现象表明，所谓的跨领域能力增益实则源于答案格式的差异，而非模型内在推理能力的进步。

研究团队发现，基础模型原本多在自然语言文本中陈述答案，而强化学习训练过程将其强制移至方框内，导致原有提取器优先读取方框内容从而产生偏差。为验证这一机制，研究者使用了独立的 LLM 读取者替代自研提取器，发现格式导致的增益占比为 77%；另一方面，使用请求方框的提示词时，自研提取器测得占比为 79%。此外，研究还测试了一组采用不同训练配方的 32B 参数模型对，由于该组基础模型在被要求时已使用方框，而强化学习模型在未要求时极少使用，因此报告的增益几乎并非格式增益，这进一步证实了格式依赖性与训练配方及提示词工程的强相关性。

在数据与实验细节方面，研究通过重新评分存储的输出并利用第二个提取器，展示了报告增益中有多少是读取提取器属性的结果，且无需重新运行强化学习过程。附属文件数据涵盖 BBH、GSM8K、MATH500、MMLU、MMLU_PRO、SAT_MATH 及 ARC_C 等主流测试集。数据路径位于 results/adjudication 目录，包含 result.json、RESULT.md、batches.json 及 human-kit 子目录。raw/first 子目录包含编号 0000 至 0090 的文件，命名格式为 {ID}.attempt0.json；另有编号 0091 至 0183 的文件，其中 0114、0137、0143 包含两次尝试，其余多为单次尝试。第一、二阶段数据分别对应编号 0184 至 0271 及 0000 至 0005（第二组编号），其中 0206 和 0231 存在 attempt1 记录，所有数据文件均为 JSON 格式。results/adjudication/raw/second/ 目录包含 0100 至 0190 编号、attempt0 与 attempt1 及 .json 后缀共 88 个裁决结果文件，其中 0127、0173、0177 存在多次尝试记录；同目录下含 0191.attempt0.json 至 0271.attempt0.json 文件，0228、0248 含 attempt0 与 attempt1，0261 含 attempt0、attempt1 与 attempt2。results/adjudication/raw/tie_break/ 目录含 0000.attempt0.json 至 0005.attempt0.json 文件；results/adjudication/ 目录下含 reader-first.jsonl、reader-second.jsonl 与 reader-tie_break.jsonl 文件。

影响分析

对于中文开发者与从业者而言，这一研究结果揭示了当前主流 AI 评测体系中存在的“格式幻觉”陷阱。在构建或评估基于 RLVR 的模型时，若直接依赖特定提取器或假设模型输出遵循统一格式，可能会高估模型的真实泛化能力。分析判断认为，开发者在部署模型或进行基准测试时，必须引入鲁棒的答案提取策略或独立的大语言模型作为第二读取者，以剥离格式因素，从而更准确地衡量模型在数学推理、逻辑问答等跨领域任务中的实际表现。

此外，该发现对于强化学习训练流程具有直接指导意义。从业者在设计奖励函数或提示词工程时，应警惕模型过度拟合于特定输出格式（如 \boxed{}）的行为。若评测指标因格式适配而虚高，可能导致优化方向偏离，资源被浪费在提升格式化能力而非核心推理逻辑上。建议在研发管线中增加格式无关性测试，确保模型在未强制格式要求的开放环境下仍能保持稳定的准确率，避免因提取器偏差导致的技术路线误判。

适用边界

该结论主要适用于采用基于可验证奖励的强化学习（RLVR）训练范式的模型，且评测依赖于特定答案提取器或结构化输出格式（如方框）的场景。对于不依赖 RLVR 机制的传统监督微调模型，或采用自由文本输出且不经过特定提取器解析的开放式生成任务，该关于“格式增益”的结论可能不适用。此外，当基础模型与强化学习模型在输出格式习惯上高度一致，且评测提示词明确要求统一格式时，格式导致的增益占比将显著降低，此时跨领域增益更可能反映真实的模型能力差异，而非提取器偏差。

孤本观察

本次研究通过复用存储输出而非重新训练模型来量化格式影响，是一种低成本且高效的评测校准方法，揭示了现有基准测试中“提取器依赖性”这一容易被忽视的评估盲区。
在 7B 参数模型上高达 82% 的格式增益占比表明，当前 RLVR 领域的部分“跨领域突破”可能仅是评测管线中格式匹配度提升的副产品，而非通用智能的真正体现。

来源：arXiv cs.LG