LowRAM 提出可组合 KV 缓存压缩方法，长上下文下实现 26.9 倍压缩且保留 94.5% 基线性能

一句话结论

LowRAM 通过对密钥低秩压缩、数值摊销的不对称 KV 缓存方法，在长上下文场景下实现最高 26.9 倍压缩并保留 94.5% 基线性能。

关键要点

• LowRAM 利用注意力头内数值对密钥的可预测性，对数值缓存做摊销，仅存储重建误差最大 token 的残差，实现约 4 倍近无损数值压缩。
• 低秩密钥压缩跨层进行，数值摊销在推理时按头拟合轻量级预测器，二者组合形成不对称压缩管线，在三个模型家族上保持接近无损。
• 每个解码步只重建选定的 KV 对子集，将解码开销压到极低，在 4 倍压缩下峰值解码吞吐最高可提升 5 倍。
• LowRAM 可进一步与量化和驱逐策略组合，长上下文下达到 26.9 倍压缩，同时保留 94.5% 的基线性能。
• 论文提交时间为 2026 年 11 月 4 日，来自 arXiv 机器学习方向，PDF 大小约 228 KB。

背景与事实

自回归解码依赖 KV 缓存，其内存占用随上下文长度线性增长，进而限制批大小与吞吐量。现有的后训练方法主要利用 token、层与特征维度之间的冗余，或降低数值精度来压缩 KV 缓存。论文提出的 LowRAM 识别出一条互补压缩轴：在每个注意力头内部，数值在结构上可以从对应的密钥中在很大程度上被预测。

基于这一观察，LowRAM 引入数值缓存摊销机制。该方法在推理时拟合一个轻量级逐头预测器，仅对重建效果最差的 token 存储残差，从而将数值压缩比控制在约 4 倍并保持接近无损。预测器可以通过元学习进行初始化，显著降低预填充开销；在允许一次性拟合成本的场景（如多查询推理）中，也可以从零开始拟合。

LowRAM 将数值摊销与跨层低秩密钥压缩组合，形成一个不对称压缩管线。由于每个解码步骤只需重建选定的 KV 对子集，解码阶段的额外开销被压到极低。在 4 倍压缩条件下，该方法最高可带来 5 倍峰值解码吞吐量的提升。在更长上下文场景中，LowRAM 进一步与量化和驱逐策略叠加，实现 26.9 倍压缩，同时性能保留率达到 94.5% 的基线水平。

影响分析

这一结果对中文开发者与从业者的实际意义在于：当团队需要在有限的显存上运行长上下文大模型推理时，LowRAM 提供了一条可组合的压缩路径。将密钥与数值结构性区分对待，而不是笼统地降低整体精度，让压缩预算可以精确投放到冗余度更高的维度上。对于自建推理服务的大模型从业者，这套方法意味着在保持近似无损质量的前提下，把上下文长度与批吞吐量同时抬升，从而降低单位 token 的推理成本。对于多查询、批处理密集的工作负载，摊销数值带来的 4 倍压缩与 5 倍解码吞吐提升可以直接转化为更短的响应时间与更高的系统利用率；在允许一次性拟合成本的场景里，预填充阶段的额外开销也可以被摊薄。

需要指出的是，以上判断属于分析推断，实际收益取决于模型架构、上下文长度分布、是否可接受一次性拟合成本，以及是否与现有量化或驱逐策略叠加使用。

适用边界

LowRAM 的高压缩比结果建立在长上下文、自回归解码场景，且密钥与数值存在结构性冗余的模型上。对于短上下文或对精度要求极高、无法接受 94.5% 保留率的场景，26.9 倍压缩的收益可能不成立；对于数值与密钥之间可预测性弱的注意力头，摊销数值的 4 倍压缩效果也会受限。如果模型不是自回归架构，或推理框架不支持在解码步中执行子集 KV 重建，该管线无法直接套用。

孤本观察

本文最值得关注的编辑判断是：将密钥与数值视为结构上不同的对象、并分别施加低秩与摊销两种压缩，使得压缩管线可以在几乎不损失精度的基础上继续与量化、驱逐叠加，这种"可组合性"可能成为后续 KV 缓存优化的主流设计范式。

来源：arXiv cs.LG