研究提出 DScout 方法，通过分解式训练与推理优化扩散模型推测解码，在 Qwen3 系列上实现最高 4.14 倍加速

一句话结论

研究提出 DScout 框架，通过分解位置损失与吞吐量公式指导扩散模型推测解码的训练和推理，在 Qwen3 模型上实现 3.84 至 4.14 倍加速。

关键要点

• 扩散模型推测解码面临核心矛盾：更高的平均接受 token 数（MAT）并不必然带来更高吞吐量，因为验证环节只接受连续前缀，早期拒绝会使命中后期的正确预测失效。
• DScout 在训练阶段将位置级损失分解为包含、权重和预测三个子损失，通过混合时间尺度训练、块内去掩码和接受权重损失的组合，将监督信号与前缀接受行为对齐以提升 MAT。
• DScout 在推理阶段将吞吐量分解为 MAT 与每轮延迟的比值，据此指导目标条件化深度、草稿器深度和推理块大小的选择，为不同工作负载识别高吞吐配置。
• 在 Qwen3-4B 和 Qwen3-8B 模型上，DScout 在六个基准测试中分别实现 3.84 倍和 4.14 倍平均加速，较最先进基线提升 9.1% 和 7.1%。
• 跨模型和并发设置下，该推理配置策略相比 DScout 固定配置可额外提供最高 9.75% 的平均加速增益。

背景与事实

推测解码（Speculative Decoding）是大型语言模型推理加速的主流技术路线，其核心机制是通过一个较小的草稿模型（Drafter）并行生成候选 token，再由目标模型一次性验证。传统自回归草稿器在提案生成阶段本身仍是串行的，而扩散模型草稿器（Diffusion Drafter）进一步将提案生成过程并行化，理论上可显著缩短草稿阶段的耗时。然而，研究指出扩散草稿器存在一个被忽视的瓶颈：验证环节仅接受从第一个 token 开始的连续前缀。若前缀中某个位置被拒绝，其后所有已生成的 token 即便正确也会被丢弃，这意味着早期拒绝会"浪费"后期的正确预测，限制平均接受 token 数（Mean Accepted Tokens, MAT）的提升空间。更复杂的是，即使 MAT 提升，如果每轮验证延迟因并行度增加而显著上升，整体吞吐量仍可能不升反降。这一矛盾在扩散草稿器中尤为突出，因为其并行提案能力更强，但每轮计算开销也更大。

本研究于 2026 年 10 月 7 日提交至 arXiv 的计算机科学与机器学习分类（cs.LG），题为《Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding》（面向扩散草稿推测解码的分解式训练与推理）。研究团队提出 DScout 框架，核心思想是通过两种互补的数学分解来系统性地指导扩散草稿器的训练与推理配置选择。在训练侧，DScout 将逐位置损失分解为三个可独立优化的分量：包含损失（inclusion loss）、权重损失（weighting loss）和预测损失（prediction loss）。这种分解使得研究者能够清晰地识别哪些训练技巧（如混合时间尺度训练、块内去掩码、接受权重损失）分别作用于哪个分量，从而有针对性地设计和组合这些技巧，使监督信号与最终的前缀接受行为精确对齐。在推理侧，DScout 将吞吐量显式建模为 MAT 除以每轮延迟的比值，并据此建立配置搜索空间：目标条件化深度、草稿器网络深度和推理块大小。该方法为每种工作负载（不同模型、不同并发度）识别出最优的高吞吐配置，而非使用单一固定参数。

实验在 Qwen3-4B 和 Qwen3-8B 两个模型上进行，覆盖六个基准测试。结果显示 DScout 分别实现 3.84 倍和 4.14 倍的平均加速（相对于自回归解码基线），相比当前最先进（state-of-the-art）推测解码基线，平均加速额外提升 9.1% 和 7.1%。进一步地，当推理配置策略跨不同模型和并发设置动态调整时，相比 DScout 的固定配置，可再获得最高 9.75% 的平均加速增益。

影响分析

对中文大模型开发者而言，该研究的影响主要体现在两个层面。首先，在技术路线选择上，扩散模型推测解码此前因"高 MAT 不等于高吞吐"的陷阱而进展缓慢，许多团队投入大量算力提升草稿器的并行提案能力，却未充分优化验证阶段的延迟-接受率权衡。DScout 提供的分解式视角和配置策略为这一路线提供了可操作的工程指引：开发者不应盲目追求更高的草稿容量，而应基于吞吐量公式系统调优草稿器深度、块大小和条件化参数。其次，在推理成本优化方面，研究证实动态配置策略可带来最高 9.75% 的额外加速，这意味着在多租户、多负载的生产环境中，针对不同请求特征（如 prompt 长度、并发度）动态选择推理配置具有实际经济价值。对于使用 Qwen3 系列模型（千问模型）的团队，该结果尤其具有直接参考意义，因为实验正是在 Qwen3-4B 和 Qwen3-8B 上完成，配置参数和加速数据可直接作为调优起点。需要强调的是，这些结论基于特定模型规模和基准测试集，外推至其他架构或更长上下文时需重新验证。

适用边界

本研究结论的适用边界需注意以下几点：实验仅在 Qwen3-4B 和 Qwen3-8B 两个规模的模型上验证，未覆盖更大参数量级（如 70B 以上）或不同架构（如 MoE 混合专家模型）的情况，因此加速倍率和配置策略不能直接外推。六个基准测试的具体类型未在摘要中列明，若目标应用场景（如长文档生成、多轮对话）与测试集分布差异较大，实际加速效果可能偏离报告数值。此外，9.75% 的动态配置增益依赖跨模型和并发设置的系统级调度支持，若部署架构无法实现运行时配置切换，则只能使用固定配置，该部分增益不可用。扩散草稿器的训练技巧（混合时间尺度、块内去掩码等）的有效性也依赖于草稿器与目标模型之间的分布匹配度，对于领域差距极大的跨域场景，需重新设计损失权重。

孤本观察

本研究将"分解"作为统一方法论贯穿训练与推理两个阶段——训练分解损失、推理分解吞吐量——这种形式化分解使工程调优从经验试错转向结构化搜索，是推测解码领域从"堆容量"到"精配置"的范式信号。值得注意的是，该论文将"每轮延迟"与"前缀接受行为"显式纳入优化目标，而非仅关注 MAT 或草稿速度，这一视角对后续推测解码研究具有方法论参考意义。

来源：arXiv cs.LG