KVLearn框架：通过成本感知缓存保留策略显著降低解耦LLM服务的首字延迟

一句话结论

KVLearn 通过引入成本感知的学习框架，将解耦 LLM 服务中的首字延迟最高降低 56%，并减少节点间传输量。

关键要点

• KVLearn 是一个面向解耦 LLM 服务的成本感知 KV 缓存保留框架，由轻量级前缀重用预测器（PRP）、成本感知保留评分（CARS）和自适应阈值控制器（ATC）三部分构成。
• 该框架在保持模型权重不变的前提下，基于结构特征和时间前缀特征估计前缀重用概率，并将重用概率转化为保留或准入决策。
• 在文本和多模态工作负载评测中，KVLearn 相比无缓存基线将端到端首字延迟降低最高 56%，相比 LRU-Pool 降低 38%，相比 Mooncake 风格基线降低 33%。
• 该框架将节点间 KV 传输量相比 LRU-Pool 减少最高 53%；在 MM-Session 多模态负载上，吞吐量保持在 oracle 基线附近（约相差 5% 以内）。

背景与事实

传统 KV 缓存策略基于局部重计算假设：缓存未命中时只需重新计算缺失块。但解耦 LLM 服务将预填充（prefill）和解码（decode）分离到不同节点池，中间经过网络层传输，缓存未命中不仅引发重计算，还带来网络传输开销；同时向全局缓存准入一个块也需额外传输，保留决策失误会同时浪费内存与带宽。

研究者提出 KVLearn，针对解耦拓扑下的成本感知缓存保留问题设计学习框架。系统包含三个核心组件：一是轻量级前缀重用预测器（PRP），利用结构特征与时间前缀特征预测前缀重用概率，不改动模型权重；二是成本感知保留评分（CARS），把重用概率结合重计算成本、传输成本和存储成本，转换为保留或准入决策；三是自适应阈值控制器（ATC），根据观测到的命中率与内存压力在线调整准入阈值，应对负载波动。

实验在文本和多模态工作负载上进行，其中包括由图像和视频导出的大尺寸 KV 块，这些块的复用模式具有高度异质性。结果指出，KVLearn 将端到端首字延迟相比无缓存方案降低最高 56%，相比 LRU-Pool 降低 38%，相比 Mooncake 风格基线降低 33%。在节点间 KV 传输方面，相比 LRU-Pool 可减少最高 53%。在 MM-Session 多模态评测上，其吞吐量保持在 oracle（最优缓存策略）约 5% 以内。研究代码已通过 GitHub 开源，便于复现与扩展。

影响分析

对中文开发者与 LLM 运维从业者而言，该框架直接影响大规模推理系统的成本结构：当预填充和解码节点分布在多机或多区，网络传输与内存带宽会成为推理成本的核心变量。KVLearn 的价值在于用轻量级学习机制替代传统 LRU 等静态策略，在不改动模型结构的前提下降低首字延迟与传输量。对于多模态场景（图像、视频转 KV 块），由于块复用模式更复杂，缓存策略更容易失效，此框架的可调阈值和成本感知保留评分在工程上具备可落地性。开发者若构建分布式推理平台或云上 LLM 服务，可将 KVLearn 作为缓存控制层嵌入，优化内存与带宽利用，提高服务质量并降低单位推理成本。

适用边界

该结论主要适用于采用预填充/解码分离架构的解耦 LLM 服务，且节点间通过网络层传输 KV 块；对于单体部署、同机内缓存或仅使用本地重计算的架构，网络传输成本占比低，KVLearn 的增益可能有限。多模态 KV 块场景下，块尺寸差异大、复用模式复杂，框架依赖前缀特征与命中率观测数据，若负载分布极度非平稳或缺乏足够的历史统计，ATC 的在线调整可能不稳定。此外，实验中的 56%、38%、33%、53% 等提升幅度基于特定文本与多模态工作负载，其他业务分布下的实际收益需重新评测验证。

孤本观察

本框架的核心洞察是：在解耦架构中，缓存未命中不仅是计算问题，更是传输问题；将传输成本显式纳入保留决策，是比单纯优化命中率更有效的系统层面改进方向。

来源：arXiv cs.LG