何恺明团队发布 VISTA 框架，视觉原生 Harness 提升多模态模型交互推理能力

一句话结论

何恺明团队发布 VISTA 框架，通过保留原始视觉画面支持模型按需回看，显著提升多模态模型在复杂交互任务中的推理效率。

关键要点

• VISTA 框架由 MIT 团队提出，无需重新训练基础模型，即可让多模态模型在交互中积累、保存并利用视觉经验。
• 在 ARC-AGI-3 基准测试中，搭配 VISTA 的 Claude Opus 5.0 完成全部 25 个公开游戏，动作效率得分为 100，动作数比人类基线少 57.4%。
• VISTA 将 GameWorld 任务成功率从 40.0% 提升至 63.3%，在 BabyVision 迷宫连线题准确率从 41.0% 提升至 63.2%。
• 框架核心包含视觉观测、无损视觉记忆和主动视觉检查三个组件，配合 GUIDE.md 和 WORKING.md 文字笔记维持长任务连贯性。

背景与事实

2026 年，何恺明（Kaiming He）领衔的 MIT 研究团队发表论文《VISTA: A Visual Harness for Reasoning in an Interactive World》，提出多模态模型视觉原生 Harness 框架 VISTA。该研究基于何恺明在 ResNet、Mask R-CNN 和 MAE 等视觉感知领域的长期积累，旨在解决模型在持续交互环境中如何保存和利用视觉经验的问题。

VISTA 框架的设计源于传统 Harness 方法的局限。Anthropic 在 2025 年 11 月提出的 Harness 主要通过任务清单和代码记录保存文字状态，但在真实视觉环境中，模型需要理解物体位置、朝向及动作前后的环境变化，而文字笔记难以完整记录这些视觉细节。在 ARC-AGI-3 基准中，现有方法常将画面转换为文本网格，但复杂环境的外观、空间关系和动态变化难以被文字完全转化，且长交互历史会导致早期画面被移出上下文或被文字摘要替代。

为此，VISTA 将环境返回的每一帧原样保存在上下文之外，包括动作过程中的动画中间帧，模型在推理时可按需调取。框架设计了三个核心组件：视觉观测将 64×64 画面放大为 512×512 PNG 图像以保留细节；无损视觉记忆按回合号和帧号索引保存所有画面；主动视觉检查允许模型通过 inspect 工具指定历史回合、裁剪放大局部区域或对比多帧画面。

实验验证显示，在 ARC-AGI-3 中，Claude Opus 5.0 使用 VISTA 完成全部 25 个公开游戏，相对人类动作效率得分满分 100，动作数比人类首次游玩基线少 57.4%；GPT-5.6 Sol 同样全部通关，得分 99。在 GameWorld 基准的 170 项任务中，GPT-5.6 Sol 使用 VISTA 的成功率从官方基础框架的 40.0% 提升至 63.3%；在 AI GameStore 的 10 个游戏中，综合得分从 47.3 升至 140.3（人类中位数归一化为 100）；在 BabyVision 的 39 道迷宫与连线题上，准确率从 41.0% 提升至 63.2%。

影响分析

对于中文开发者与从业者而言，VISTA 框架提供了无需重新训练即可提升多模态模型交互推理能力的新路径，降低了构建复杂视觉智能体的技术门槛。该框架特别适用于需要长期交互、环境动态变化频繁的应用场景，如游戏 AI、机器人控制和视觉导航等领域。

从工程实践角度，VISTA 的"视觉档案"机制解决了长上下文窗口限制问题，允许模型在上下文接近上限时通过交接摘要进入新窗口继续执行任务，而保留视觉历史和文字笔记。这意味着开发者可以基于现有多模态模型构建更持久的智能体系统，无需等待模型本身支持超长上下文或重新训练。然而，该框架对计算资源有一定要求，保存大量原始画面和中间帧需要额外的存储和检索能力，在实际部署时需权衡性能与成本。

适用边界

VISTA 框架的优势在视觉信息丰富、动态变化显著的交互任务中最为明显，但在静态图片或无需长期记忆的场景中，其额外价值有限。对于已有完善视觉预处理流程或模型本身支持超长视觉上下文的系统，引入 VISTA 可能带来冗余。此外，框架目前主要验证于游戏和谜题场景，尚未在真实物理世界的具身任务中充分测试，其在非结构化、高噪声真实环境中的适用性有待后续研究证实。

孤本观察

VISTA 的核心创新在于将视觉信息从"一次性输入"转变为"可复用档案"，这种设计思维可能启发其他多模态系统重新考虑视觉记忆的管理方式。值得注意的是，团队将 GPT-5.6 Sol 和 Claude Opus 5.0 作为基础模型进行评测，表明当前前沿多模态模型已具备在 Harness 框架下高效利用视觉档案的能力，这为行业验证了"框架增强"而非"模型重训"的技术路线可行性。

来源：量子位