SAGE-CP 解决自适应视觉语言模型集成中的路由条件覆盖失效问题

一句话结论

SAGE-CP 通过路由分层校准修复自适应视觉语言模型集成中边缘覆盖掩盖的路由级失效，将最坏路由覆盖率从 0.623 提升至 0.887。

关键要点

• SAGE-CP 管线采用三阶段流程：在开发数据上学习路由器，冻结所有路由决策，并对提前退出与升级输入分别校准返回分数
• 在 10 个基准、4 个冻结视觉语言模型、5 个对齐划分上，SAGE-CP 与全局校准均实现 0.900 边缘覆盖率（目标 0.90），但路由行为差异显著
• SAGE-CP 将平均最坏路由覆盖率从 0.623 提升至 0.887，将平均路由覆盖差距从 0.324 缩小至 0.025
• 预测集平均大小从 1.893 增至 2.212，但仍小于完整集成方法的 2.486，同时源调用次数减少 70.6%
• 在 5 个数据集上，SAGE-CP 将批量单条延迟降低 58.8% 至 63.4%，GPU 总能耗降低 55.7% 至 57.5%

背景与事实

自适应视觉语言模型（VLM）集成通过早期停止机制在简单图像上节省计算资源，将困难图像升级至更复杂的推理路径。传统方法使用单一保形阈值（conformal threshold）使最终预测器在边缘意义上有效，但该方法掩盖了各计算路径上的条件失效问题。具体而言，若某路由流行率为 πᵢ，边缘 1-α 覆盖率允许该路由的条件覆盖率低至 max{0, 1-α/πᵢ}，这意味着稀有路由上的可靠性保障被严重削弱。

SAGE-CP 管线针对这一不匹配问题设计。其核心流程分三步：首先在开发数据上学习路由器；其次冻结所有路由选择，防止校准过程引入分布漂移；最后对提前退出路径和升级输入路径分别校准返回分数。校准步骤应用 Mondrian 分裂保形预测（split conformal prediction）至路由器创建的操作分组。在可交换性假设下，生成的预测集在各路由内实现有限样本覆盖率保障。

实验在 10 个基准、4 个冻结 VLM 和 5 个对齐划分上展开。结果显示，全局校准与 SAGE-CP 均达成 0.900 边缘覆盖率（目标 0.90），但路由层面行为差异显著：SAGE-CP 将平均最坏路由覆盖率从 0.623 提升至 0.887，平均路由覆盖差距从 0.324 缩小至 0.025。两方法使用相同的路由分数，每张图片 1.177 次源调用。

计算效率方面，SAGE-CP 在 5 个数据集上将批量单条延迟降低 58.8% 至 63.4%，GPU 总能耗降低 55.7% 至 57.5%，相对于完整推理基线。更强的保障使预测集平均大小从 1.893 增至 2.212，但仍小于完整集成的 2.486，同时源调用减少 70.6%。路由级可靠性在 6 个固定查询比例下持续成立，但更细粒度的退出深度分组表明稀有路由需要额外校准数据。

影响分析

对中文开发者与从业者而言，SAGE-CP 提供了部署自适应视觉语言模型集成时保障路由级可靠性的可复用方案。若团队在边缘覆盖率指标上满足要求即认为系统可信，SAGE-CP 揭示的方法缺陷表明在稀有路由（如复杂图像升级路径）上可能存在 0.623 级别的覆盖率失效，这在医疗影像分析、自动驾驶等高风险场景下不可接受。需要强调的是，这一判断基于论文实验设定：在可交换性假设成立、路由器决策已冻结、且校准数据充分覆盖各操作分组的条件下，SAGE-CP 才能提供路由内有限样本覆盖率保障。

适用边界

SAGE-CP 的结论在以下条件下不成立或需额外验证：（1）数据不满足可交换性假设，如存在时间漂移或分布偏移；（2）路由器未冻结，动态路由决策导致校准失效；（3）稀有路由样本量不足，无法提供额外校准数据支撑；（4）退出深度分组过细时，现有校准数据不足以覆盖所有子路由。这些场景中，SAGE-CP 的路由级保障可能退化或失效。

孤本观察

SAGE-CP 将保形预测的 Mondrian 分裂技术迁移至路由操作分组，表明保形方法的可推广性不仅限于整体预测，还可嵌入到路由决策层。这一判断基于论文中 0.025 的路由覆盖差距与 70.6% 源调用减少同时达成的实验事实。

来源：arXiv cs.LG