PRIME 通过统一优化将混合专家模型的压缩转化为频率加权的整数线性规划问题，显著降低部署时的内存需求

一句话结论

PRIME 框架通过联合优化剪枝与合并策略，将混合专家模型的内存占用显著降低并提升了吞吐量。

关键要点

• PRIME 提出了一个统一的优化框架，将原本割裂的专家剪枝（pruning）与合并（merging）操作整合为一个整体优化过程，取代了传统的贪心启发式算法。
• 该框架将离散的剪枝-合并分配步骤形式化为一个基于频率加权替代目标的整数线性规划（Integer Linear Programming）问题。
• 实验在 Qwen3-30B-A3B 和 Qwen3.5-122B-A10B 两个模型上进行了验证，结果显示其在知识、编码、数学和长上下文任务中均保持了较强的准确性。
• 在 vLLM 推理基准测试中，合并后的模型在内存使用和吞吐量方面表现出显著的压缩收益。
• 频率感知目标函数的设计动机来源于固定代表元分配下的误差界限分析，该公式倾向于将高频专家选为质心，从而促进了路由稳定性。

背景与事实

混合专家模型（Mixture-of-Experts, MoE）已成为扩展大型语言模型的有效范式，但其庞大的参数规模给部署带来了严重的内存挑战。现有的压缩方法通常将专家剪枝和合并视为互不相关的离散操作，并依赖贪心启发式规则。这种方法往往导致不可逆的信息丢失或表示污染，限制了压缩模型的最终性能。为了解决这一问题，研究团队提出了 PRIME（PRuneIng and MErging）框架。该框架的核心创新在于将剪枝和合并视为一个联合决策过程。

具体而言，PRIME 将离散的剪枝-合并分配步骤构建为一个全局整数线性规划问题。该规划基于一个频率加权的替代目标函数，能够同时考虑专家的选取、剪枝和合并决策，并计入专家的使用频率。从理论角度分析，研究团队通过固定代表元分配下的误差界限分析，论证了频率感知目标函数的合理性。该公式在设计上倾向于选择高频使用的专家作为合并的质心（centroids），这种机制在数学上促进了解决方案的路由稳定性，从而减少了因模型结构改变导致的路由偏差。

在实验验证阶段，研究团队选择了 Qwen3-30B-A3B 和 Qwen3.5-122B-A10B 作为基准模型。评估任务涵盖了通用的知识问答、代码生成、数学推理以及长上下文理解四个主要维度。结果显示，PRIME 框架在保持上述任务准确率方面表现强劲。此外，为了量化压缩带来的实际工程收益，研究团队使用了 vLLM 作为服务基准测试环境，专门评估了合并后模型在内存占用和吞吐量方面的具体提升数据。

影响分析

对于中文开发者及 AI 从业者而言，PRIME 框架提供了一种从“暴力剪枝”向“结构化优化”转变的技术路径。以往在处理大模型部署时，工程师往往面临内存瓶颈与模型精度不可调和的矛盾，通常只能牺牲精度或支付高昂的算力成本。该研究明确指出，将剪枝和合并统一在整数线性规划框架下，能够有效避免表示污染。这意味着在实际生产环境中，开发者可以更低成本地部署 Qwen3 系列等大参数量的混合专家模型。特别是对于关注推理成本的企业，vLLM 基准测试中显示的吞吐量提升直接转化为云资源成本的节约。这一方法论对于希望在不改变模型架构前提下提升推理效率的工程师具有直接的参考价值，尤其是在资源受限的边缘计算或高并发服务场景中。

适用边界

该结论的适用性主要局限于基于 Transformer 架构的混合专家（MoE）大语言模型压缩场景。文中未提供关于非 MoE 架构（如稠密模型）或视觉模型（Vision-Language Models）的实验数据，因此不能直接推断其适用于所有类型的大模型。此外，虽然实验展示了在 Qwen3 和 Qwen3.5 系列上的优越性，但将其推广至其他拥有不同路由机制或专家分布特征的模型族时，其路由稳定性的增益效果需重新验证。该方法依赖整数线性规划求解，对于专家数量极其庞大且计算资源极度受限的场景，求解该全局优化问题的计算复杂度可能成为新的瓶颈。

孤本观察

该研究并未将频率权重仅仅视为一个超参数，而是通过误差界限分析赋予了其明确的几何意义（即高频专家作为质心），这种从代数优化向几何直觉靠拢的解释路径，为解决稀疏模型中的表示漂移问题提供了新的理论视角。

来源：arXiv cs.LG