冻结解码器、修复编码器：基于SVD的KV缓存压缩参数高效适配新策略

一句话结论

共享学习率对比误导了参数高效微调结论，修正后仅修复编码器即可在低内存下实现等效压缩效果。

关键要点

在共享学习率条件下，冻结解码器并仅修复编码器的策略看似优于修复解码器或同时修复两个因子。
当为每个对比组（arm）单独调优学习率后，上述表面优势消失，仅修复编码器与其他策略达到同等准确率。
仅修复编码器方案可实测节省3倍可训练参数数量和3倍优化器状态内存。
该结论已在视觉语言模型 Qwen2.5-VL-3B-Instruct（Qwen2.5-VL-3B-Instruct）上通过三个随机种子验证，并在两个纯文本骨干网络中复现。
研究指出，当对比的微调方案可训练参数量差异巨大时，共享学习率会系统性压低大参数量组均值、放大其方差，制造虚假统计显著性。

背景与事实

该研究针对基于SVD（Singular Value Decomposition，奇异值分解）的KV缓存压缩方法展开。该方法的核心流程是：将已预训练模型的键值（Key/Value）权重因子化为下投影（即“编码器”）和上投影（即“解码器”），从而构建低秩（如多头潜在注意力风格）缓存；随后通过短时微调（称为“修复”）找回因截断导致的准确率损失。

研究团队发现，在常规的“单一共享学习率”对比实验设计中，冻结解码器、仅修复编码器的方案呈现出对修复解码器或双因子修复的显著优势。然而，进一步分析揭示，这一优势源于实验设计缺陷而非算法本身：由于各对比组可训练参数量差异极大，统一学习率导致参数量较大的组平均性能被压低、方差被放大，从而人为制造出小参数组的虚假领先。

当研究者为每个对比组分别调优学习率，并在视觉语言模型 Qwen2.5-VL-3B-Instruct 上以该协议覆盖的单一压缩比率进行三随机种子验证后，仅修复编码器的准确率与其他策略持平。在资源开销方面，该方案实测节省3倍可训练参数和3倍优化器状态内存。研究团队还在纯文本测试床上跨两个骨干网络复现了这一等价性结果。

影响分析

这是基于来源事实的分析判断。对于中文开发者与从业者而言，该研究揭示了参数高效微调（PEFT）评估中的一类系统性偏差：当对比方案参数量级悬殊时，共享超参数会扭曲性能排名。在实际工作中，若团队采用类似 SVD 低秩 KV 缓存压缩技术进行模型轻量化部署，可优先考虑“仅修复编码器”作为低内存落地方案，其在保持压缩后准确率的同时显著降低显存需求，更适合资源受限场景。此外，任何涉及多方案对比的实验设计都应避免共享学习率，需按参数量级分组调参，否则可能得出错误结论并误导技术选型。

适用边界

该结论的成立依赖于特定条件：验证仅在单一压缩比率下进行，且在 Qwen2.5-VL-3B-Instruct 视觉语言模型及两个纯文本骨干网络上完成。来源未提供不同压缩比率下的性能曲线，也未覆盖更大参数量模型或其他架构类型。因此，不能推断该等价性在所有压缩率、所有模型规模或所有骨干网络中均成立；在未经验证的场景下直接套用“仅修复编码器”策略可能存在性能风险。