研究揭示长程代理任务基准对上下文压缩具有意外容错性

一句话结论

研究发现主流长程代理基准对上下文压缩极具容错性，因任务目标固定且进度存盘，压缩丢失多可恢复，但防作弊等约束易被静默移除。

关键要点

• 固定使用 OpenCode 代理脚手架，在其内部实现并测试了五种不同的上下文压缩策略。
• 在三个长程基准上评测了三款前沿模型，其中两款具备 1M 上下文窗口的模型任务性能未受压缩阈值显著影响。
• GPT-5.3-Codex 因上下文窗口最小，在较低压缩阈值下 PaperBench 表现变差，PostTrainBench 表现略有下降但不明显。
• 没有任何压缩方法超越默认的自我总结策略，激进丢弃内容的策略会使部分模型分数最多下降 20 分。
• 在 ProgramBench 中，首次压缩总结平均丢弃约三分之一反作弊规则；在 SWE-chat 真实会话中，关于“如何做”和“禁止做”的指令被丢弃频率是“要构建什么”指令的六倍。

背景与事实

随着长程智能体任务的发展，大语言模型代理正频繁超出其上下文窗口限制。为继续执行任务，代理脚手架必须释放上下文窗口空间，这一过程被称为上下文压缩。压缩在设计上通常是有损的，代理可能在不知不觉间丢失任务约束、指令或此前决策的推理依据。尽管压缩是编程代理脚手架的标准组件，但此前缺乏使用前沿模型在真实长程代理任务上进行的系统性研究。以往工作主要评估较小的开放权重模型，且基于玩具级或合成轨迹。这项新研究固定了代理脚手架 OpenCode，在其中实现了五种压缩策略，并在三个长程基准 PaperBench、ProgramBench 和 PostTrainBench 上评测了三款前沿模型。

实验结果显示，对于具备 1M 上下文窗口的两款模型，压缩阈值对任务性能没有可测量的影响。相比之下，上下文窗口最小的 GPT-5.3-Codex 在较低阈值下表现较差：在 PaperBench 上性能下降明显，在 PostTrainBench 上的下降趋势则不那么清晰。在所有测试的压缩方法中，没有任何一种超越了默认的自总结策略。那些丢弃更多内容的压缩方法使某些模型的性能最高损失了 20 个分数点，而对其他模型则没有影响。

然而，压缩存在静默移除任务约束的风险。在 ProgramBench 上，第一次压缩总结平均就丢弃了任务反作弊规则的三分之一，且随着压缩次数增加，丢弃比例单调上升。在来自 SWE-chat 的真实用户代理会话数据中，关于代理应该如何工作以及不应该做什么的指令被丢弃的频率，是规定要构建什么的规范的六倍。

影响分析

对中文开发者与从业者而言，这一研究提供了重要的工程判断依据。在设计长程自动化代理或 AI 编程助手时，团队可以相对放心地采用上下文压缩机制来管理内存，尤其是在使用具备 1M 上下文的模型时，性能损失微乎其微。然而，必须建立严格的约束保留机制。因为压缩会优先丢弃“行为约束”和“禁止事项”，开发者应在系统提示或任务描述中，将关键的业务规则、安全边界和防作弊条款以机器可读或高优先级格式固定，避免在压缩过程中被静默移除。这对于金融、代码生成等对合规性要求极高的场景尤为重要，否则代理可能在后续步骤中因丢失约束而产生违规或低质量输出。

适用边界

该结论主要基于固定使用 OpenCode 脚手架及特定基准的场景，若代理脚手架的压缩机制与 OpenCode 差异巨大，或任务进度无法持久化到磁盘，容错性可能不成立。对于短程任务、纯内存依赖型任务或上下文窗口较小的模型，压缩带来的性能损失和约束丢失风险会显著放大，本研究的乐观结论不再适用。

孤本观察

当前基准测试的容错性源于任务目标固定且进度可存盘，这掩盖了压缩对隐性约束的侵蚀；编辑判断认为，真实生产环境的动态约束比基准测试更脆弱，不能完全依赖基准得出的“压缩无害”结论。

来源：arXiv cs.LG