ResCom通过低秩残差补偿将Llama-3-8B 4-bit量化模型的MMLU提升2.89个百分点

一句话结论

ResCom通过闭式解低秩补偿激活量化残差，使Llama-3-8B在4-bit权重激活量化下MMLU提升2.89个百分点，且不增加校准后权重更新。

关键要点

• 在Llama-3-8B模型上采用4-bit权重与激活量化，rank-32注意力补偿使WikiText-2困惑度从7.708降至7.147。
• 同一设置下，MMLU成绩提升2.89个百分点，five-shot GSM8K准确率从23.96%提升至36.16%。
• 方法属于低秩校正，利用激活舍入残差补偿层输出误差，不依赖梯度训练，也不修改已校准权重。
• 输出感知校准流程按残差对输出重构的贡献选择方向，并以闭式形式计算补偿项。
• 评估覆盖1B到70B参数的模型及held-out C4测试集；FP32实现使4K prefill时间增加2.25%到4K prefill时间，紧凑存储实现相对FP16保留27.7%峰值内存削减。

背景与事实

ResCom是一项面向大语言模型低位权重—激活量化的补偿方法，提交日期为2026年10月25日，发表于arXiv cs.LG，编号为2610.35955。低位权重—激活量化通过降低数值精度减少部署所需内存与计算量，但激活在量化过程中的舍入仍会在校准后降低模型精度。论文指出，基于舍入输入的层输出重构无法区分处于同一量化bin内的激活值，因此需要引入对激活舍入残差的补偿。ResCom的低秩校正使用激活舍入残差来补偿层输出误差，并采用输出感知校准流程：该流程按残差对输出重构的贡献选择残差方向，并以闭式形式计算校正，不涉及梯度训练，也不更新已校准权重。

在具体数据上，Llama-3-8B在4-bit权重与激活量化、rank-32注意力补偿的设置下，WikiText-2困惑度从7.708降至7.147；MMLU提升2.89个百分点；five-shot GSM8K准确率从23.96%提升至36.16%。论文还在1B到70B参数规模以及held-out C4测试集上评估了该方法，说明其结论超出单一模型与单一任务设置。实现方面，被评估的FP32实现使4K prefill时间增加2.25%到4K prefill时间；另一紧凑存储实现相对FP16保留27.7%的峰值内存削减。需要特别注意的是，论文中“4K prefill time”与“peak-memory reduction”同时出现，前者指前缀填充阶段耗时，后者指峰值内存占用，二者对应不同实现与不同评估维度。

影响分析

对中文开发者与从业者而言，ResCom提供了一条无需重新训练、也不改动校准权重的量化精度修复路径。低位量化部署长期受困于“越省越准降”的矛盾：4-bit权重与激活虽然显著降低显存与计算量，但激活舍入会累积误差，最终在数学推理与长上下文等任务上表现为准确率下滑。ResCom以低秩残差补偿的方式把这部分误差部分抵消，使4-bit配置在MMLU与GSM8K上接近或恢复未量化或更高位宽的精度，这对需要在边缘设备、推理服务或端侧模型中压缩显存、同时尽量保持下游任务表现的工作非常实用。从工程角度看，闭式解校准意味着没有梯度反向传播、没有多轮微调，集成成本更低；不更新校准权重则意味着已完成的量化校准流程可原样保留，只需在推理路径中插入一个低秩校正层，便于对现有量化推理栈做小范围侵入式修改。

适用边界

该结论主要成立在低位权重—激活量化场景，尤其是论文评估的4-bit权重与激活、rank-32注意力补偿、Llama-3-8B至1B—70B规模模型以及WikiText-2、MMLU、GSM8K与held-out C4测试集上的结果。若量化位宽、残差秩、注意力层补偿范围、校准语料或测试任务发生变化，数值增益与代价都可能不同；例如更高位宽、更宽张量化或不同注意力结构下，残差补偿的收益空间与额外开销需要重新测量。另外，FP32实现带来的4K prefill时间增加与紧凑存储实现带来的峰值内存削减属于两种不同工程配置，不能直接互换；在实际系统选型时，需要把延迟、显存与精度三者一起评估，而不是只看某一个指标。

孤本观察

ResCom的价值在于把“激活舍入残差”从噪声变成可补偿的低秩信号，让不改动校准权重的量化部署在精度与开销之间多出一条可调路径；这是基于论文所述闭式校准与低秩补偿机制作出的判断。

来源：arXiv cs.LG