MoEZip 发布：解决混合专家模型长文本推理中 KV 缓存驱逐导致路由漂移的问题

一句话结论

MoEZip 通过路由感知压缩解决稀疏混合专家模型长文本推理中 KV 缓存驱逐导致专家选择偏差及生成质量下降的瓶颈。

关键要点

• 稀疏混合专家模型在长上下文推理中，传统 KV 缓存驱逐会改变生成过程中专家的选择，导致生成质量显著劣化。
• MoEZip 提出了基于路由分布 Fisher 信息矩阵的指标，用于精确评估专家路由对数据扰动的敏感程度。
• 该方法将上述路由敏感性指标与注意力权重结合，构建了针对稀疏架构的路由感知上下文评分机制。
• 在 KV 保留率仅为 10% 的极端压缩场景下，MoEZip 在 LongBench 基准测试上平均领先 24 分，得分较基线提升 2.3 倍。
• 在 RULER 基准测试的相同压缩条件下，MoEZip 平均领先 20 分，得分较最先进基线方法提升 4.9 倍。

背景与事实

混合专家（Mixture-of-Experts，MoE）语言模型通过在每个 Token 处理中仅激活少量参数子集，极大地扩展了模型容量并降低了计算成本。然而，随着序列长度的增加，键值（Key-Value，KV）缓存呈线性增长，内存占用成为长上下文推理的主要瓶颈。现有的 KV 缓存压缩技术主要针对密集变换器（Dense Transformers）设计，它们忽略了稀疏 MoE 架构特有的核心缺陷。

在稀疏 MoE 模型中，KV 缓存中的每一部分都与特定的专家路由状态紧密相关。如果在生成过程开始时错误地驱逐了某些关键的 KV 对，模型在后续步骤中可能会选择错误的专家，这种现象被称为“路由漂移”。传统的压缩方法仅依据注意力权重或重要性分数进行驱逐，无法预测这种路由状态的变化，从而在激进压缩率下严重损害生成质量。

为了解决这一问题，研究团队提出了 MoEZip，一种专门针对稀疏 MoE 语言模型的路由感知 KV 缓存压缩方法。该方案的核心创新在于引入了基于路由分布 Fisher 信息矩阵的新颖指标。Fisher 信息矩阵在统计学中用于衡量数据分布对参数变化的敏感度，在此被用来量化当 KV 数据发生微小扰动时，专家路由决策发生改变的可能性。

MoEZip 将该路由敏感性指标与标准的注意力权重相结合，形成了一种复合评分系统。该系统不仅评估 Token 的重要性，还评估其对路由稳定性的贡献。最终，MoEZip 构成了一种互补的评分机制，能够同时适配密集架构和稀疏 MoE 架构的驱逐策略。实验表明，该方法在多种基准测试下均表现出稳健的性能，特别是在极端的缓存压缩场景中优势明显。

影响分析

对于正在部署长文本能力的中文开发者与从业人员而言，这一技术突破具有直接的工程价值。随着国产大模型普遍采用 MoE 架构以提升推理效率，长上下文场景下的内存墙问题日益突出。传统的缓存压缩工具在面对 MoE 模型时往往存在“隐性质量损失”，即虽然通过了基准测试的表面指标，但在实际复杂推理中可能出现逻辑断裂。

采用 MoEZip 类技术可以显著降低部署长文本 MoE 模型的硬件门槛。在 KV 保留率低至 10% 的情况下仍能维持甚至提升生成质量，意味着可以使用更小的显存卡或更少的卡数来处理超长文本任务。这对于成本控制敏感的私有化部署场景、边缘计算以及大规模并发服务具有重要意义。不过，开发者需要注意的是，引入 Fisher 信息矩阵计算可能带来额外的预处理开销，需要在压缩效率与推理延迟之间进行具体的工程权衡。

适用边界

该结论的适用性依赖于模型架构必须包含稀疏混合专家机制。对于纯密集参数模型（Dense Transformer），由于其不存在动态专家路由问题，传统的基于注意力权重的 KV 缓存压缩方法通常已经足够，MoEZip 特有的路由感知指标可能无法提供额外的性能增益，甚至因增加了计算复杂度而得不偿失。

此外，该结论在短文本推理场景下不适用。MoEZip 的优势在“激进缓存压缩”（如 10% 保留率）和“长上下文”条件下才充分显现。如果应用的上下文长度较短，或者模型本身显存充裕无需进行深度压缩，引入这套复杂的评分系统可能不会带来明显的效益，反而会增加系统实现的复杂性。

孤本观察

MoEZip 的出现表明，KV 缓存压缩正从单纯的“注意力重要性评估”转向“模型结构感知”，标志着针对 MoE 架构的推理优化进入了精细化阶段。这种将路由动力学纳入缓存管理视野的思路，可能成为未来稀疏大模型推理系统开发的标配范式。

来源：arXiv cs.LG