arXiv新论文提出RASS算法，通过排名感知推测采样在CIFAR-10上将扩散模型加速比提升约20%

一句话结论

RASS算法利用候选排名优化验证过程，在匹配计算预算下较D-GRS在CIFAR-10上将扩散生成加速比提升约20%。

关键要点

• RASS（Rank-Aware Speculative Sampling）是一种基于排名感知列表耦合的验证规则，用于加速扩散生成。
• 该算法利用草稿候选在提议-目标均值位移上的排序信息，优化排名权重以最小化总变差。
• 在FFHQ无像素空间生成、CIFAR-10条件生成及Stable Diffusion 3.5隐空间生成中，RASS均优于D-GRS。
• 在匹配计算预算条件下，CIFAR-10任务中RASS相对标准采样的目标模型评估次数比值提升约20%。
• 算法保留目标分布的精确采样特性，残差校正确保任意排名权重下结果的正确性。

背景与事实

推测采样（Speculative Sampling）是加速扩散模型生成的重要技术路线。其核心思想是通过并行验证廉价的草稿状态来减少昂贵的目标模型评估次数，同时保持目标分布的不变性。近期基于树的推测方法相比单链草稿能更有效地分配并行计算预算，其中Diffusion Greedy Rejection Sampling（D-GRS）是这一方向的代表性工作。D-GRS在每个节点生成K个条件独立候选，并按生成顺序依次测试这些候选。然而，研究团队指出，即使在不进行额外目标模型评估的情况下，这些采样候选本身就蕴含了有价值的排序信息。

为利用这一排序信息，arXiv论文《Rank-Aware Speculative Sampling for Diffusion Draft Trees》提出了RASS算法。该算法基于排名感知的列表耦合构建验证规则，具体而言，RASS沿提议-目标均值位移对草稿候选进行排序，并采样一个排名，其权重经过优化以最小化选中提议分布与目标分布之间的总变差。最终，选中的候选与目标进行最大耦合，并通过残差校正确保对于任何选择的排名权重，都能实现精确采样。

在实验评估方面，研究团队在多个基准上测试了RASS的性能。这些基准包括高斯混合目标分布、FFHQ数据集上的无像素空间生成、CIFAR-10数据集上的条件生成，以及使用COCO2014提示词在Stable Diffusion 3.5隐空间中的扩散生成。评估指标为标准采样与推测采样的目标模型评估次数比值。结果表明，在所有评估场景中，RASS均优于D-GRS。其中，在匹配计算预算的条件下，CIFAR-10任务上的性能增益最为显著，加速比提升幅度达到约20%。

影响分析

对于中文开发者与AI从业者而言，RASS算法的提出为扩散模型的高效推理提供了新的工程参考。在当前的AIGC应用场景中，生成速度直接影响用户体验与推理成本。RASS通过利用现有的候选排序信息优化验证过程，无需修改模型架构或增加额外评估开销，即可显著提升生成效率。这意味着在相同硬件资源下，开发者可以处理更多并发请求，或在交互式应用中提供更短的等待时间。

此外，RASS对Stable Diffusion 3.5等主流隐空间扩散模型的支持，表明该技术路径具备广泛的适用性。随着扩散模型在图像、视频生成领域的普及，类似的推测采样加速技术将成为模型服务优化的关键组成部分。开发者应关注此类算法层面的优化方案，将其纳入模型部署与推理框架中，以平衡生成质量与推理成本。

适用边界

RASS算法的加速效果依赖于候选草稿的质量与排序信息的准确性。在草稿模型与目标模型分布差异过大、或候选生成顺序缺乏有效排序特征的场景下，排名感知优化可能无法带来显著增益。此外，该算法针对的是扩散生成过程中的特定验证阶段，不适用于需要完全改变生成逻辑或非扩散架构（如自回归语言模型）的加速场景。在极端低资源或单候选草稿限制下，基于树的并行验证优势也可能被削弱。

孤本观察

从编辑视角判断，该研究的价值在于将排序优化从语言模型的推测解码领域迁移至扩散模型验证环节，且未增加额外评估开销。约20%的CIFAR-10加速比虽非数量级突破，但在工程落地中足以显著降低推理延迟，属于实用型算法改进。

来源：arXiv cs.LG