AgentGarten通过代码-扩散混合架构实现30fps实时交互，让AI智能体在数轮内自主进化物理策略

一句话结论

AgentGarten 融合代码物理引擎与扩散渲染器，让智能体以 30fps 实时试错，4 轮内自主掌握掩体搭建等核心策略。

关键要点

• 交互闭环达 30 fps 以上，480p 分辨率下实现单卡实时流式渲染，彻底消除传统视频模型生成延迟。
• 捉迷藏实验显著提速：躲藏者第 4 轮学会搭掩体，搜寻者第 10 轮掌握翻墙，相比 2019 年需数千万至上亿局完成。
• 通用经验沉淀机制跨任务验证：在 60 秒小狗陪伴、狭桥会车、合作牧羊及采石场装载机四场景中均实现 4 轮内性能跃升。
• 物理确定性彻底解耦：代码独立裁决碰撞与胜负杜绝幻觉，神经渲染器仅负责视觉质感与光影还原。
• 训练与推理深度优化：通过精确重放机制稳时序、真实视频对抗防伪影，并用 Triton 定制算子消除调度冷启动。

背景与事实

让 AI 真正理解物理世界，仅靠观看海量视频是远远不够的。就像学游泳不能只看录像，智能体必须亲自采取动作，观察实际结果，再决定下一步。这就需要一个具备物理因果确定性的环境：推开的箱子必须留在原地，封堵的通道必须不能通行，后续所有动作都要被这些物理变化持续约束。当前业界解决此问题的两条主流技术路径各有局限。传统的代码或游戏引擎环境状态精准、规则透明，但视觉画面极其粗糙；而以视频生成核心的世界模型虽能生成高清画面，却因物理信息隐式藏于神经网络中，无法提供可查询、可干预的明确状态。MirroS 团队发布的 AgentGarten 正是为了填补这一空白。它采取“物理交给代码，光影交给模型”的架构，将可执行代码环境与实时神经渲染器紧密连接。

在具体的交互闭环中，每次运转遵循严格的物理逻辑与视觉流。智能体给出动作指令后，代码环境立即计算物理碰撞并更新世界状态；随后从第一人称相机视角导出一份包含空间深度和表面法线的几何草图。接着，底层神经渲染器读取这份几何条件，结合历史视觉记忆，瞬间渲染出拟真的下一帧画面返回给智能体。这种分工带来了质的飞跃：场景布局、接触判定与游戏胜负均由代码裁决，完全不产生幻觉物理；同时搭建全新世界的成本被极大降低。过去构建 100 个逼真仿真环境需专业美术团队参与，而 AgentGarten 中只要能输出简单的三维深度轮廓，任何极简代码场景均可直接套用视觉接口，瞬间获得写实光影与材质。这套渲染器支持翼装飞行、机械臂操作、厨房烹饪及多车竞速等多场景，底层共用同一个视觉接口。

为验证智能体在反复行动中的进化能力，团队重访了经典的捉迷藏实验。设定为一对一对抗，躲藏者先布置场景封堵入口，搜寻者随后进场。智能体完全通过编写 Python 代码控制移动与抓取，并全凭眼前生成的画面决策，对空间坐标与对手位置一无所知。双方从空白手册起步，每轮对战十局，战罢复盘，下一轮随机抽选部分技能库应用。在此过程中，智能体展现出极具科学探究色彩的记录习惯，通过“领受任务、盲盒试错、撰写手册、封存传代”四个环节，不断沉淀经验。例如躲藏者会记录“防守核心在于堵住通道而非挡视线”，搜寻者则摸索出“先试拉判断卡死，微拉检验抓取”的控制法则。此外，这套经验循环同样被验证于小狗陪伴、狭桥会车、合作牧羊和采石场装载机等跨度极大的世界中，得分与效率在四轮演练内均实现大幅度提升。

影响分析

对于中文开发者与具身智能领域的从业者而言，AgentGarten 提供了一种极具参考价值的工程范式。在传统的机器人和自动驾驶研发中，构建高保真的仿真测试环境往往需要投入大量人力进行三维建模与美术贴皮，导致环境扩充严重受限。该研究证明了，开发者完全可以依赖代码生成几何基础，交由神经渲染模型处理复杂的光影质感，从而彻底将“美术劳动密集型”转化为“代码程序化扩展型”。这一思路大幅降低了多场景测试的边际成本。更重要的是，其强调的智能体“复盘记录-经验传承”机制，为具身智能在连续任务中的自我优化提供了可落地的算法框架，使得在长时序操作中保持物理一致性成为可能。

适用边界

需要注意的是，该结论在极高保真实物抓取及强光照剧烈变动的户外复杂场景下不一定直接成立。AgentGarten 的渲染器依赖于输入精确的几何草图（深度与法线），其 30 fps 的极限吞吐基于 480p 的分辨率与特定的计算图优化。当任务要求极高精度的纹理识别，或需要在远超 480p 的高清视觉下维持长程流式不漂移时，该架构的显存开销与算力要求可能会超出单卡硬件极限。此外，其经验沉淀机制高度依赖于清晰的视觉反馈与物理规则的确定性，在物理规则模糊或环境存在极大随机干扰的非结构化真实世界，这套策略演化效率尚未得到验证。

孤本观察

AgentGarten 的核心突破在于将生成模型从静态的视频预测中解放出来，转变为实时的物理交互接口。它巧妙地向行业证明，无需盲目追求视觉的绝对写实，只要保住物理状态的因果确定性，视觉模型即可作为低成本的传感器存在，这才是智能体进化的真正基石。

来源：量子位