arXiv 新作提出 Fisher 效用加权（FUW），从蒸馏目标本身推导令牌重要性以优化在策略蒸馏

一句话结论

新提出的 Fisher 效用加权方法能从蒸馏损失直接推导令牌权重，在数学推理基准上优于均匀权重且无需额外信号。

关键要点

• 在七个数学推理基准测试和 Qwen3 师生模型对中，FUW 比均匀的在策略蒸馏（OPD）在反向 KL 下提升 1.35–4.0 宏分，前向 KL 下提升 1.08–2.71 宏分。
• FUW 的令牌效用公式 s_t = g_t^T F_t^† g_t，其中 g_t 是 logits 梯度，F_t 是类别 Fisher 矩阵。
• 在 50% 选择比例下，学生熵、KL 不匹配与 TIP 等多个独立设计的准则与效用方法集中于近乎相同的位置，但在更严苛比例或方向特定准则下出现分歧。
• 对于反向 KL，效用等价于学生加权的师生对数概率比方差；对于前向 KL，等价于 Pearson χ² 散度。
• FUW 是一个连续的、均值归一化的令牌加权方案，仅使用由训练目标导出的单一闭式评分即可与现有选择性方法保持竞争力。

背景与事实

该论文题为《Token Utility for On-Policy Distillation via Local Trust-Region Optimization》，于 2026 年 10 月 1 日以 v1 版本提交至 arXiv cs.LG 类别，作者为 Narayanan Sadagopan。研究聚焦于在策略蒸馏（On-Policy Distillation，OPD）中的令牌选择问题。现有方法通常依靠多种信号——如学生不确定性、师生分歧、不匹配方向等——来确定哪些被学生访问过的令牌位置更重要。本文则从蒸馏目标本身推导令牌重要性：在每个位置的预测分布上施加等量局部 KL 预算时，该位置的损失能下降多少。

推导结果显示，该效用即 s_t = g_t^T F_t^† g_t，g_t 为 logits 梯度，F_t 为类别 Fisher 矩阵。对反向 KL 目标，效用等于学生加权的师生对数概率比的方差；对前向 KL 目标，则等于 Pearson χ² 散度。这意味着效用形式直接取决于所选目标。实验基于共享训练检查点，发现学生熵、KL 分歧与 TIP 等由不同动机导出的准则在 50% 选择比例下与推导效用集中于近似相同的位置，但更严格比例或方向特定准则下则出现分歧。

作者在三个 Qwen3 学生-教师模型对（具体模型版本未在摘要中列明）的七个数学推理基准上进行了验证，结果与匹配的均匀 OPD 相比，FUW 在反向 KL 设置下取得 1.35 至 4.0 宏分的提升，在前向 KL 设置下取得 1.08 至 2.71 宏分的提升。

影响分析

对中文 LLM 从业者而言，FUW 提供了一种无需额外启发式信号、直接由训练目标导出的令牌加权方法。这意味着在搭建蒸馏训练流程时，可以在不增加复杂信号计算的前提下显著提升教师向学生的知识迁移效率，尤其在数学推理等需要精确数值与步骤对位的任务中收益明显。对于使用 Qwen3 系列做师生配对的团队，可直接复用论文中的检查点与验证流程进行复现，降低方法迁移成本。这是基于现有实验结论的分析判断，实际收益可能因任务类型与模型规模而存在差异。

适用边界

上述结论建立在 Qwen3 学生-教师模型对、七个数学推理基准及 KL 蒸馏目标之上。若用于代码生成、多轮对话等非数学推理任务，或未采用 KL 族散度（如 JS 散度、散度组合）作为蒸馏目标，FUW 的效用公式与增益幅度可能不直接适用，需要重新推导或验证。

孤本观察

FUW 在 50% 选择比例下与多个独立准则收敛，但更严格比例下出现分歧，这表明现有令牌选择方法在"中等选择率"下可能只是隐式近似了 Fisher 效用，而并非真正理解目标；这是基于摘要描述的判断。

来源：arXiv cs.LG