选择性在线策略蒸馏中，共享学习率并非中性对照参数

一句话结论

该研究证实学习率会扭曲模型选择器性能评估，迫使研究者改变现有基准测试协议。

关键要点

• 在 LoRA 微调 GSM8K 数据集（学生模型 Qwen2.5-1.5B，教师模型 7B）的场景下，密集监督在 8 倍学习率网格上表现统计平坦（波动 1.8 个百分点，p=0.26），而所有选择性分支均随学习率变化：随机 5% 子集波动 5.4 个百分点，全变差选择器波动 6.7 个百分点，可教性选择器波动高达 17.7 个百分点。
• 密集与选择性监督的对比结论在 lr=1e-4 时差异为 10.1 个百分点，而在 5e-5 时差异为 5.1 个百分点，产生 2 倍的结论偏差，且六个成对显著性判断中有两个在相邻学习率间发生翻转而未伴随排名逆转。
• 预注册冻结评分消融实验（每个单元格 12 个种子）显示，实时评分在保持评分标准、预算和在线策略推理不变的前提下，额外增加 3.79±1.69 个百分点的学习率敏感性（p=0.035），而冻结分支仍显著纠缠（p=0.015），证明反馈回路加剧而非引发该现象。
• 在全量微调于 1e-6 至 1e-5 学习率区间时，密集分支波动扩大至 19.8 个百分点，选择性分支波动达 49.5 个百分点，结论从发布操作点的不显著 +3.6 个百分点变化至偏高一个档位的 +34 个百分点（p=0.005）。
• 在 MATH-500 数据集上，LoRA 下的学习率依赖性未复现，限定了该结论的适用范围，但选择性训练约 10 个百分点的成本依然存在。

背景与事实

2026 年 8 月 17 日，arXiv cs.LG 提交的研究《A Shared Learning Rate Is Not a Neutral Control in Selective On-Policy Distillation》发表于该领域，系统性地挑战了选择性在线策略蒸馏（Selective On-Policy Distillation, SOD）领域长期默认的“共享学习率是中性对照”这一基准测试假设。该领域训练学生模型时仅在选择器评分最高的 token 位置进行监督，文献中的选择器比较通常采用单一共享学习率作为“中性”控制条件。本研究首次证明该假设不成立。

实验主体设定在 GSM8K 数据集上，采用 LoRA 架构，学生模型为 Qwen2.5-1.5B，教师模型为 7B，覆盖 8 倍学习率网格。结果显示，密集监督分支在学习率变化下统计表现平坦（波动仅 1.8 个百分点，p=0.26），而所有选择性分支均表现出显著的学习率敏感性：随机 5% 子集波动 5.4 个百分点，全变差选择器波动 6.7 个百分点，可教性选择器波动高达 17.7 个百分点。这种差异导致“密集对选择性”的判定结论在不同学习率下发生根本性反转：在 lr=1e-4 时判定差异为 10.1 个百分点，而在 5e-5 时判定差异仅为 5.1 个百分点，偏差达 2 倍。更关键的是，六个成对显著性判断中有两个在相邻学习率间发生翻转，且未伴随排名逆转，表明该效应非因排序反转所致。

研究团队将这一现象命名为“选择器-学习率纠缠”（selector-rate entanglement），并追溯其根源并非步长本身，而是选择过程本身。数据表明，AdamW 更新幅度在 15.5 倍的梯度范数差异下仍能跟踪学习率至 2.2% 以内，说明选择操作本身放大了对优化步长的敏感度。为验证因果机制，团队执行了预注册的冻结评分消融实验：使用初始学生模型对选择进行评分，保持评分标准、预算与在线策略推理完全不变，每个单元格运行 12 个种子。结果显示，实时评分额外贡献 3.79±1.69 个百分点的学习率敏感性（p=0.035），而冻结分支仍保持显著纠缠（p=0.015），证明反馈回路加剧而非引发该现象。

在全量微调场景下（学习率 1e-6 至 1e-5，即该文献实际使用的区间），该模式进一步放大：密集分支波动扩大至 19.8 个百分点，选择性分支波动达 49.5 个百分点。在发布操作点，密集对选择性的结论为不显著的 +3.6 个百分点，而在偏高一个档位的操作点，结论变为显著的 +34 个百分点（p=0.005）。值得注意的是，该学习率依赖性在 MATH-500 数据集的 LoRA 场景下未复现，明确了 GSM8K 与 LoRA 组合的适用边界，但选择性训练约 10 个百分点的性能成本在该数据集上依然成立。基于上述证据，研究团队正式建议：选择器比较的前置条件应报告“分支×学习率”矩阵，而非共享学习率列。

影响分析

对中文开发者与从业者而言，这一发现具有直接的工程实践指导意义。过去在构建大模型蒸馏流水线时，若默认采用固定学习率对比不同 token 选择器（如基于注意力、熵、可教性等指标的选择策略），其实验结论可能在更换学习率后完全反转，导致优化方向误判。该研究明确警示：在选择性蒸馏架构中，学习率不应被视为与选择策略无关的“背景参数”，而应作为核心交互变量纳入超参搜索空间。这意味着工程团队在复现或扩展 SOD 类方法时，必须将“选择器×学习率”的联合调参作为标准流程，而非仅固定学习率后比较选择器。此判断基于论文报告的 17.7 个百分点波动与 2 倍结论偏差的量化证据，属于分析性推断。

适用边界

该结论的适用范围受限于 LoRA 微调架构、GSM8K 数据集及 Qwen2.5-1.5B/7B 模型组合；在 MATH-500 数据集与 LoRA 组合下学习率依赖性未复现，说明该现象并非普适于所有数学推理任务。此外，全量微调与 LoRA 的波动幅度存在差异，结论外推至其他微调架构或数据集时需重新验证。

孤本观察

该研究揭示的“共享学习率非中性”问题，本质上是蒸馏文献长期将优化超参与算法设计解耦的方法论盲区；从本文事实判断，选择器-学习率纠缠可能广泛存在于其他基于子集监督的模型压缩方法中，但来源未提供交叉验证证据，此判断仅为编辑基于单一事实的延伸推断。

来源：arXiv cs.LG