昆仑万维发布 Matrix-Game 4.0：首款单卡消费级显卡实时视频大模型游戏开源

一句话结论

昆仑万维发布并开源 Matrix-Game 4.0，实现单张消费级显卡毫秒级延迟实时视频生成游戏，大幅降低 AI 交互世界门槛。

关键要点

Matrix-Game 4.0 在单张 NVIDIA RTX 5090（32GB 显存）上实现 480p 分辨率、60 FPS 实时运行，端到端延迟 112 毫秒，低于 150 毫秒交互响应基准线。
该模型基于 Wan2.2 5B 改造为 148 通道拼接输入的视频到视频模式，采用 30 层因果 DiT 网络架构，单步去噪稳态生成速度达 83 FPS，显存峰值 18.5 GiB。
项目采用引擎维护世界状态、视频模型实时渲染画面的 Harness 范式，通过 148 通道拼接引擎结构画面与视频输入，结合动态 Caption 机制实现结构约束与语义生成统一。
系统同步开源代码、权重与白模资产，提供可改编游戏代码，支持通过编程智能体以自然语言调整场景、交互与玩法，显著降低游戏原型开发门槛。
团队基于虚幻引擎 5 构建覆盖城市、沙漠、城堡、空战四大场景的结构画面-精细画面跨域对齐数据集，实现逐帧像素级对齐与动态语义元数据并行捕获。

背景与事实

2026 年 10 月 15 日，昆仑万维正式发布 Matrix-Game 4.0 游戏世界模型项目，并同步在 Hugging Face 开放代码、权重与白模资源。该项目定位为全球首款可在单张消费级显卡上实时运行的视频大模型游戏，其核心技术突破在于将视频生成模型从多卡实验室环境迁移至本地消费级硬件部署场景。

在性能指标方面，Matrix-Game 4.0 在单张 NVIDIA RTX 5090 显卡上实现 480p 分辨率下 60 FPS 的实时游戏体验，端到端延迟 112 毫秒，从玩家按键到首帧响应的完整链路控制在 150 毫秒以内。单步去噪稳态生成速度达到 83 FPS，显存峰值占用 18.5 GiB，文本编码器、DiT 与 VAE 全部常驻单张显卡。相较 Code World Model（约 10.2 秒延迟、1×H200 141GB）、StreamRender-H3（约 545 毫秒、8×GB200）与 AgentGarten（约 878 毫秒、1×H100）等方案，Matrix-Game 4.0 在延迟与算力需求上均实现数量级优化。

技术架构上，项目构建了引擎维护世界状态、视频模型实时渲染画面的 Harness 范式。引擎负责维护世界状态与交互规则，通过简化几何模型描述场景拓扑与物体位姿，将生命值、背包、碰撞等状态以代码形式显式维护；视频模型基于 Wan2.2 5B 改造为 148 通道拼接输入的视频到视频模式，采用 30 层因果 DiT 架构，自注意力读取 K/V 缓存、交叉注意力读取文本 K/V。数据层面，团队基于虚幻引擎 5 构建覆盖 CitySample 超大城市、开放沙漠、复杂城堡、高动态空战四大场景的跨域对齐数据集，自研轻量化几何抽象采集管线实现逐帧像素级对齐，并行捕获物体实例 ID、可见性状态及因果交互事件构建动态元数据流。

推理加速方面，团队采用 CUDA Graph 预录制 DiT 主干计算、融合 GPU kernel 实现 RoPE/归一化/FP8 量化、文本条件 KV 按需重算、视频历史 KV 环形缓存、自注意力 KV 窗口切分并行计算、轻量 TAEHV 编解码等多项工程优化，最终实现 60 FPS 在消费级显卡上的落地。项目引入动态 Caption 机制，将场景物体 ID 与语义描述关联，运行时从游戏引擎获取当前可见对象及实时状态填入提示词模板，与结构画面共同约束视觉生成。

影响分析

对中文 AI 开发者与游戏从业者而言，Matrix-Game 4.0 的开源首先打通了视频生成模型本地实时部署的工程路径。过去交互式视频游戏受限于多卡数据中心算力，普通创作者难以参与迭代；如今单张 32GB 消费级显卡即可运行，意味着独立游戏团队、高校实验室乃至个人开发者均可在本地环境中进行视频世界模型的实验与二次开发。其次，引擎与视频模型解耦的 Harness 范式提供了可复用的架构参考：代码承载规则、引擎维护状态、模型生成画面的三层分工，可迁移至其他实时交互生成场景。此外，编程智能体支持的自然语言定制能力降低了玩法设计门槛，非专业编程背景的创作者也能通过 Prompt 调整 NPC 行为、场景布局与胜负条件。这一技术路径对 AI 原生游戏、个性化内容生成与 UGC 平台开发具有直接的工程参考价值。

适用边界

该结论主要适用于 480p 分辨率、60 FPS 单玩家实时交互场景。模型当前分辨率与帧率组合受 RTX 5090 显存限制，4K 或更高帧率需求仍需多卡集群；多人联机、跨玩家视角一致性、更细粒度画面控制尚在团队后续迭代计划中，现阶段不具备生产级多人游戏体验。动态 Caption 依赖游戏引擎实时输出物体语义状态，纯视频输入无引擎约束的场景不适用；简化几何模型描述场景的方式对高精度影视级资产生成无直接帮助，精细 3D 资产制作流程仍需传统管线支持。