一句话结论
DoSA 通过证书机制优化稀疏注意力计算，在保持选择无损的前提下实现最高 2.74 倍加速。
关键要点
- DoSA 采用无损机制，保留精确 token 选择而不改变稀疏注意力的核心筛选逻辑。
- 完整 Indexer 计算在英文、中文与代码场景下，较 SGLang 最高提速 2.74 倍，较 LiteTopK 最高提速 1.69 倍。
- GLM-5.2 与 DeepSeek-V3.2 端到端评测中，首词时间较基线分别最高提升 1.94 倍与 1.50 倍。
- 方法通过 Top-K 选择证据约束，仅需对仍可能胜出的候选项进行完整评分。
- 该机制结合非负头部投影与激活信息聚合，对正负贡献分别设置上下界。
背景与事实
该研究于 2026 年 9 月 26 日提交至 arXiv 平台，归属于计算机科学中的机器学习方向。传统稀疏注意力机制虽能通过减少注意力头访问的键值数量来提升效率，但在筛选这些键值时，往往仍需用每个索引器头对所有键值进行完整评分，这一冗余计算制约了吞吐性能的进一步突破。
DoSA（Dots Sparse Attention）针对上述瓶颈提出了新的无损筛选逻辑。其核心创新在于改变了候选键值是否需要进行完整评分的判定方式。该方法引入“种子集合”（seed set）机制，利用该集合确定获胜阈值的下界。在评分阶段，DoSA 计算非负头部投影与联合残差边界，以此界定正向贡献的上界，同时结合激活信息聚合机制估算负向头部可能扣除的量级。这种上下界的界定生成了判定证书，使得算法能够将全量评分资源集中导向那些依然具备入选资格的候选项，同时通过精确分数过滤进一步降低数据写回与选择环节的计算开销。
研究团队在 GPU 环境下部署了该算法，并进行了多维度的性能测试。测试覆盖英文、中文与代码三种负载场景，结果显示，相较于 SGLang 基线，DoSA 的完整 Indexer 计算最高提速 2.74 倍；相较于 LiteTopK 基线，最高提速 1.69 倍。在端到端模型应用层面，采用 GLM-5.2 与 DeepSeek-V3.2 进行验证，DoSA 分别实现了最高 1.94 倍与 1.50 倍的首词时间（time-to-first-token）缩短，证明该机制可有效降低长上下文处理过程中的等待延迟。
影响分析
分析判断表明，DoSA 的无损特性使其具备直接替代现有部分稀疏实现的条件，尤其适合对推理延迟敏感且需保持输出一致性的生产环境。该机制在索引器层面的效率提升可直接映射至首词延迟的改善，为部署 GLM-5.2 与 DeepSeek-V3.2 等大模型的推理服务商提供了明确的性能优化路径。由于方法在英文、中文与代码等异构负载下均展现出加速效果，说明其具备一定的跨语言泛化能力，这减少了多语言场景下的二次适配成本。同时，通过数学证明证书条件与精确选择边界，该方案在工程实现中提供了更高的确定性，降低了因近似筛选导致模型性能波动的风险。
适用边界
孤本观察
编辑判断指出，DoSA 将原本被视为全局操作的筛选过程转化为基于边界证据的局部计算，在无损约束下开辟了新的性能提升空间。这种利用非负投影与残差边界构建证书的方法，为稀疏注意力的工程化部署提供了更具确定性的技术路线。
常见问题
DoSA 算法在完整 Indexer 计算上较 SGLang 基线最高提速多少倍？
较 SGLang 基线最高提速 2.74 倍。
在 GLM-5.2 模型端到端评测中，DoSA 使首词时间最高提升了多少？
GLM-5.2 首词时间较基线最高提升 1.94 倍。
DoSA 算法的核心创新机制是什么？
引入“种子集合”机制确定获胜阈值下界，通过非负头部投影与激活信息聚合生成判定证书，仅对可能胜出的候选项进行完整评分。
该研究成果于何时提交至 arXiv 平台？
2026 年 9 月 26 日提交至 arXiv 平台。
DoSA 在 DeepSeek-V3.2 模型上的端到端首词时间缩短幅度是多少？
DeepSeek-V3.2 首词时间较基线最高缩短 1.50 倍。
来源：arXiv cs.LG