一句话结论
华为诺亚实验室联合 UCL 推出的 Memento 3 系统,在不更新模型权重情况下,以比人类少 56% 的操作次数通关 ARC-AGI-3 所有关卡,取得满分 RHAE 成绩。
关键要点
- Memento 3 在 ARC-AGI-3 公开集 25 款游戏、183 个关卡中取得满分 100 的 RHAE 成绩,总操作次数为 7518 次。
- 系统基于 Claude Opus 5 作为底模,全程未更新模型权重、未针对游戏微调,仅通过递归自我改进实现能力提升。
- 在 Atari Pong 游戏中,Memento 3 学出控制策略后可不依赖大模型独立操作,三局均以 21:0 零封对手。
- 对照实验显示,保留规则手册可比仅用代码世界模型减少约 9% 操作次数;双世界模型在 wa30 游戏中比单模型减少约 34% 操作次数。
- 系统通过 Git 版本管理维护规则手册迭代记录,tr87 游戏中规则手册共迭代 11 个版本,支持回溯与恢复。
背景与事实
2026 年,华为诺亚方舟实验室联合英国伦敦大学学院(UCL)等团队发布了一项名为 Memento 3 的 AI 智能体系统研究。该系统的核心方法是"Code as Model"(代码即模型),即让 AI 在游戏过程中自主维护两样东西:一份持续更新的规则手册(Rulebook)和一套可执行的世界模型(Executable World Model)。规则手册以 Markdown 文档形式记录 AI 摸索出的游戏规律,可执行世界模型则是 AI 将规则写成 Python 代码后构建的简化游戏模拟器。AI 先在自己的模拟器中推演不同操作路线,再决定下一步行动;发现规则错误时,会修改手册并同步更新代码,随后重新模拟历史操作,逐格对比 64×64 的游戏画面验证准确性,对不上则继续修改。
该研究面向的评测基准为 ARC Prize 推出的 ARC-AGI-3。与早期 ARC 系列侧重出题解题不同,ARC-AGI-3 将 AI 直接放入陌生游戏世界,规则需 AI 自行猜测,目标需自行寻找,操作效果需自行尝试。25 款公开游戏共包含 183 个关卡,画面以像素、方块、颜色和图形为主。ARC Prize 测试数据显示,在操控变形虫移动变色的游戏 r11l 中,10 名参与者全部通关;而在考验符号破译能力的 tr87 中,12 人挑战仅 6 人成功。
在华为团队之前,已有多个团队在该基准上取得显著成绩:普林斯顿大学 Continual Harness 通关 3 款游戏、得分 20.5;英伟达团队参与的 DreamTeam 通关 6 款、得分 38.1;独立研究者 David Courtis 的 OPINE-World 得分 78.4;英伟达 NOOA 得分 85.1;独立开发者 Sergey Rodionov 的 baseline1 通关全部 25 款游戏、得分 99,总操作次数为 8347 次。Memento 3 以 100 分满分通关且操作次数压至 7518 次,比 baseline1 少 829 次。
作为对比,Claude Opus 5 在 ARC Prize 官方标准测试框架下的平均 RHAE 约为 40.7 分;而 Memento 3 使用同一底模,成绩提升至 100 分,提升 59.3 分。研究团队还在 Atari Pong 上验证了该方法:AI 最初误判球拍分区反弹规律,经修正后逐渐掌握真实物理规则;待策略成熟后,系统不再调用大模型,仅由代码独立执行,三局不同开局全部打出 21:0。不使用世界模型时,仅凭大模型逐帧决策,最终得分为 -19,接近随机操作的 -20.7。论文数据显示,Memento 3 约用 9500 帧游戏画面即学出控制策略,而部分传统强化学习方法需数十万甚至上亿帧。
影响分析
这一结果对中文开发者与 AI 从业者具有明确的工程参考价值。它表明,在不改动大模型参数的前提下,通过外部可执行世界模型加规则手册的组合,可以显著提升智能体在陌生环境中的任务效率。对从事具身智能、游戏 AI、自动化测试等方向的团队而言,"先让模型学会规则、再将稳定策略交给代码执行"的路径比让大模型逐步推理更节省 Token 与算力,尤其适合推理成本高、重复性任务多的场景。但需注意,该结论基于规则相对明确的游戏环境,向开放世界迁移时存在不确定性。此外,Memento 3 依赖 Claude Opus 5 开启 Extra-High 推理强度,探索、代码生成与验证过程消耗大量 Token,这意味着该方法目前更适合算力与推理预算充足的研发场景,而非轻量级部署。
适用边界
上述结论仅在以下条件下成立:环境规则有限且可通过离散操作观测、目标可明确定义、AI 能够生成并验证可执行代码。若游戏或现实场景涉及连续动作空间、部分可观测状态、对抗性对手或规则本身不可被代码完整表达,该方法的收益可能显著下降。双世界模型减少 34% 操作次数的结果仅在 wa30 单款游戏中验证,尚不能推广至其他游戏。此外,Memento 3 的满分成绩基于 ARC-AGI-3 公开集,未涵盖私有测试集或更复杂的实时对抗场景。
孤本观察
基于本文事实,编辑判断:Memento 3 的核心贡献并非模型能力本身,而是将"递归自我改进"落地为可检查、可回滚的外部工件(规则手册加 Git 版本加可执行代码),这一工程范式对国内追求低微调、低算力依赖的智能体落地路径具有直接参考价值;但若脱离规则明确、可代码化的前提,其 56% 操作效率优势未必可复现。
常见问题
Memento 3 在 ARC-AGI-3 基准测试中的具体操作次数和成绩是多少?
Memento 3 在 183 个关卡中取得 100 分满分 RHAE 成绩,总操作次数为 7518 次。
Memento 3 使用的底层模型是什么,是否需要更新模型权重或微调?
系统基于 Claude Opus 5 作为底模,全程未更新模型权重、未针对游戏微调。
使用双世界模型相比单模型在 wa30 游戏中操作次数减少多少?
在 wa30 游戏中,双世界模型比单模型减少约 34% 的操作次数。
Memento 3 在 Atari Pong 游戏中取得的具体比分是多少?
Memento 3 在三局不同的开局中均以 21:0 零封对手。
该方法的适用前提条件有哪些限制?
适用于环境规则有限、可通过离散操作观测、目标可明确定义且 AI 能生成并验证可执行代码的场景。
来源:量子位