一句话结论
Agent 竞争重心已由模型层转移至工程系统,Harness 与 Loop 机制决定交付下限与持续进化能力,模型能力商品化不再构成绝对壁垒。
关键要点
- 模型能力商品化促使竞争壁垒转移至模型外工程系统,模型决定 Agent 能力上限,工程化体系决定交付下限与运行稳定性。
- 2024 年三四月份蚂蚁集团阿福团队构建修复 Badcase 的 Harness,后进入 Loop 阶段,实现 Agent 自主查找并修复 Badcase。
- 阿福内部 Badcase 修复链路分五阶段,归因、分派、修复、部署、评测及部分发布已自动化,但方案决策与最终验收需工程师把控。
- 2024 年京东大促 AI 生成游戏大赛中 40% 用户作品不可用,外部产出 Bug 率为此前 2-3 倍,验证环节是最大瓶颈。
- GPT-6 及 Claude 4.5 模型吸收部分 Harness 能力导致 Claude Code 删除 80% 提示词,GPT-5.6 使用 Superpowers 时可能与模型内生能力冲突。
背景与事实
2026 年,行业共识认为模型能力正“商品化”,竞争壁垒转移至模型外的工程系统。InfoQ《极客有约》X QCon 直播栏目邀请蚂蚁集团郭春晓、肖汉松,腾讯任磊达,京东曲奎林探讨 Agent 自进化。从 Harness 到 Loop 本质是生产关系变化,人从执行转为决策;Harness 解决任务完成(静态),Loop 解决持续进化。模型能力呈锯齿状,不等于 Agent 系统能力;模型决定能力上限,工程化体系决定交付下限。代码生成率达 90% 仅将成本从开发转移至测试和线上;Loop 中执行可自动化,决策与验收需人介入;当前自进化最大缺口是 Agent 缺乏人的上下文。
蚂蚁阿福线上 Badcase 分三类:Harness 问题(如 Prompt、工具描述错误)、模型问题(幻觉、指令不遵循)、数据问题。案例显示,将计算器工具替换为代码解释器可减少并发调用错误。因修复速度需从周级提升至天级,团队于 2024 年三四月份构建修复 Badcase 的 Harness,随后进入 Loop 阶段,实现 Agent 自主查找并修复 Badcase。游戏研发场景中,用户对错误容忍度低。GPT-6 出现前,多模态处于混沌状态,Agent 转型聚焦代码层面。现有模型上下文是瓶颈,低成本模型上下文约 200K,而 1M 上下文支持不佳。模型能力具有特异性,如 GPT-6 强于 3D 建模但编码无质变,Kimi K3 强于前端 UI 审美。安全与发布流程需保留人工介入及灰度发布。营销系统中,漏洞可能被放大导致 100% 资损。
京东前端工程化三次拐点:模型解决代码生成,业务交付需解决安全、稳定性及协作效率。2024 年大促 AI 生成游戏大赛中,40% 用户作品不可用。内部交付分为中后台巡检、DSL 生成意图加验证、多 Agent 协同定制需求等层级。若仅关注代码生成率,忽视端到端交付周期、一次性通过率及线上事故率,将导致测试返工及线上风险。外部产出 Bug 率为此前 2-3 倍,验证环节是最大瓶颈。Agent 自我验证易陷入形式化,缺乏业务价值。前端交付最大瓶颈在需求澄清(模糊需求需主动发现信息缺口)和结果验证(需结合设计约束、真机测试及 D2C 能力)。蚂蚁团队补充,当前研发模式围绕人,Agent 缺乏业务背景与决策取舍信息,短期需人工补充上下文。QCon 2026 上海站将于 10 月 22-24 日举办,设【Loop Engineering】专题。
影响分析
对中文开发者与从业者而言,单纯依赖模型升级已无法保证 Agent 系统可靠性,必须重构工程体系。影响判断:首先,团队需建立独立于模型的评估机制与反馈回流系统,Harness 的选型与业务适配将直接决定 Agent 表现下限。其次,验证环节成为核心瓶颈,开发者需设计自动化评测与真机测试能力,避免 Agent 自我验证陷入形式化,尤其在前端交付与营销系统等高资损风险场景中,人工验收与灰度发布不可省略。再次,需求澄清与上下文注入成为新技能要求,Agent 缺乏会议记录等人类上下文,短期需人工补充,开发者需掌握如何结构化业务背景以驱动 Loop 进化。最后,模型与 Harness 的冲突加剧(如 Claude Code 删除提示词、GPT-5.6 与 Superpowers 冲突),要求工程师动态适配模型升级,建立持续运行的反馈-验证-改进闭环,而非一次性交付。
适用边界
该结论不适用于对实时性要求极低、业务逻辑简单且无需持续进化的单轮任务场景;在模型能力尚未溢出、Harness 冲突不显著的早期 PoC 阶段,静态 Harness 仍可有效交付。此外,对于非代码类多模态任务(如 GPT-6 强于 3D 建模但编码无质变),Loop 工程化的优先级需根据模型特异性调整,不能简单套用代码生成经验。在营销系统等高资损场景中,自动化 Loop 的决策边界必须保留人工介入,否则 100% 资损风险不可控。
孤本观察
编辑判断:Harness 与 Loop 的演进并非线性替代,而是分层共存;模型内生能力的吸收(如 Claude 4.5)正在压缩 Harness 的提示词空间,迫使工程系统从“补偿模型短板”转向“管理模型行为”,这将是 2026 年 Agent 系统架构的核心矛盾。另判断:当前“缺乏人类上下文”是 Loop 进化的最大缺口,若 QCon 2026 专题未能提供结构化上下文注入方案,Agent 自进化将长期停留在 Badcase 修复层面,难以触及架构级进化。





常见问题
2024年京东大促AI生成游戏大赛中用户作品不可用的比例及外部产出Bug率情况如何?
40%的用户作品不可用,外部产出Bug率为此前的2-3倍。
GPT-6和Claude 4.5模型能力增强对Claude Code提示词管理产生了什么具体影响?
模型吸收部分Harness能力导致Claude Code删除了80%的提示词。
蚂蚁集团阿福团队何时构建了修复Badcase的Harness并进入Loop阶段?
2024年三四月份。
当前低成本模型的上下文大小是多少,对1M上下文的支持情况如何?
低成本模型上下文约200K,对1M上下文支持不佳。
在营销系统等高资损风险场景中,自动化Loop的决策边界有何强制要求?
必须保留人工介入及灰度发布,否则100%资损风险不可控。
来源:InfoQ 中文 AI