DISCO框架实现分布式推测解码通信效率突破，精准保留目标分布

一句话结论

DISCO框架通过服务端部署草稿模型副本，消除词表级分布传输开销，在带宽受限场景下显著提升LLM推理速度。

关键要点

• DISCO框架通过在服务端部署草稿小语言模型（SLM）副本，使服务端本地获取投机采样所需的草稿分布，避免设备与服务端间的全词表分布传输
• 框架仅在设备与服务端间交换草稿生成的词元索引（token indices）和标量概率值（scalar probability values），大幅降低通信开销
• 该框架能够精确保留目标分布（exact target distribution），不引入近似误差
• 在多个数据集上的实验表明，DISCO在带宽严格受限的条件下比现有分布式投机解码方法取得更高解码加速比
• 框架应用于设备-服务器协作的分布式LLM推理场景，解决现有方法因词汇表规模通信开销导致的解码加速受限问题

背景与事实

分布式推测解码（Distributed Speculative Decoding）作为设备-服务器协作LLM推理的有前景方案，其核心机制涉及草稿模型在设备端生成候选词元序列，服务端大语言模型（LLM）验证并接受或拒绝这些草稿。现有分布式推测解码方法依赖精确拒绝采样（exact rejection sampling），这需要设备与服务器之间传输LLM完整词表（vocabulary）上的全部分布概率。在带宽受限的环境中，这种词汇表规模的通信开销成为系统瓶颈，严重制约了推测解码本应提供的加速效果。

DISCO框架针对这一通信瓶颈提出系统性解决方案。该框架的关键设计是在服务端部署草稿SLM的副本，使得服务端能够本地获取投机采样过程中必需的草稿侧分布信息。通过这一架构调整，设备与服务端之间的数据交换被简化为仅传输草稿生成的词元索引和对应的标量概率值。这种设计在保持精确拒绝采样特性的同时，从根本上消除了原有方法中词汇表级分布传输的开销，实现了通信效率的结构性提升。

根据arXiv cs.LG提交的论文（提交日期2026年10月25日，编号2610.35957），DISCO框架在多个数据集上进行了实验验证。实验结果表明，该框架在解码加速比方面始终优于现有的分布式推测解码方法，特别是在带宽约束更为严格的场景下，性能优势更为显著。这一发现印证了通信开销确实是制约分布式推测解码实际效果的关键因素。

影响分析

对于中文开发者与从业者而言，DISCO框架的通信优化机制具有重要实践价值。分析判断认为，该框架将显著降低设备-服务器协作LLM推理的带宽需求，使推测解码技术在中低带宽网络环境（如移动网络、偏远地区）中变得更具可行性。开发者在部署分布式LLM推理系统时，无需再为词表级通信开销付出高昂成本，这将拓宽推测解码技术在实际生产环境中的适用范围。同时，DISCO框架精确保留目标分布的特性也消除了近似方法可能带来的输出质量下降风险，为对结果准确性有严格要求的应用场景提供了可靠的技术选择。

适用边界

该结论主要适用于设备-服务器架构的分布式LLM推理场景，尤其是带宽受限的部署环境。DISCO框架的加速效果优势在带宽约束严格时最为明显，在带宽充裕的环境中对现有方法的性能提升幅度可能有限。此外，框架依赖服务端部署草稿SLM副本，因此不适用于服务端计算资源极度受限、无法容纳额外模型副本的场景。对于非分布式推测解码的本地推理优化需求，该框架不适用。

孤本观察

DISCO框架通过将计算副本从设备端转移至服务端的设计思路，实质上重新分配了分布式系统中的资源负载，这种"以空间换通信"的策略在当前边缘计算与云边协同趋势下具有典型意义。从工程实现角度看，服务端需同时维护目标LLM与草稿SLM副本的架构设计，对服务端资源规划提出了新的考量维度。

来源：arXiv cs.LG