孤本网
/ 0 阅读
0
0

英伟达扩展 Cosmos 平台,推出全新工具以加速世界模型训练、评估与部署

一句话结论

英伟达扩展 Cosmos 平台,通过新工具与开源模型助力物理 AI 开发者构建世界模型。

关键要点

  • Cosmos 平台在六大公开模型排行榜中均位列前五,提供前沿开源模型及数据、训练与优化工具。
  • Cosmos Data Factory 新增五套云原生蓝图,支持多模态多感官数据处理,可通过 GitHub、Azure 等渠道获取。
  • Cosmos 3 模型支持将 320 亿参数推理器蒸馏为 80 亿参数 Nano 模型,且精度无损。
  • 新版 Cosmos 3 NIM 微服务推理速度提升最高 2 倍,无质量损失;Metropolis VSS 3.3 使同等 GPU 可监控多 40% 视频流。
  • Cosmos Data Factory 结合合成数据生成,可将自动驾驶重复实地测试减少最多 90%,开发周期缩短最多 85%。

背景与事实

英伟达宣布扩展其 Cosmos 平台,旨在帮助开发者快速构建世界模型,使物理 AI 系统能够理解并模拟现实世界。该平台在六个不同的开源模型排行榜上均位列前五,不仅提供前沿的开源模型,还配套数据工具、训练优化工具及配方,帮助开发者在部署前扩大训练数据规模、适配模型、测试行为并优化性能。

世界模型的构建始于多模态、多感官数据。英伟达推出的 Cosmos Data Factory 整合了用于大规模标注、策划、增强和评估物理 AI 训练数据的工具与技能。其中,Cosmos Curator 作为 GPU 加速的视频训练数据策划方案,现已新增对多模态多感官输入及处理块的支持。该数据工厂提供五套云原生蓝图,可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取,并利用代理技能加速数据策划、处理与合成数据生成。目前已有企业应用该蓝图加速物理 AI 开发流程:保时捷通过 Voxel51 在 Microsoft Azure 上使用 Cosmos Data Factory,领导开发大众集团品牌共享的自动驾驶数据飞轮,预计可将重复实地试驾减少最多 90%,开发周期缩短最多 85%;ANYbotics 利用该蓝图生成超 1500 段合成视频片段,结合 Encord 平台训练工业巡检机器人识别液体泄漏;Ultralytics 使用真实图像与目标合成缺陷重新训练 YOLO 模型,提升了缺陷定位与召回率。

在训练数据准备就绪后,开发者可选择训练自有架构或基于预训练模型开发。英伟达在 GTC Berlin 上扩展了 Cosmos Framework 的训练、优化与部署工具及配方,将其作为代理技能支持更多开源模型,并推出 Cosmos 3。开发者与代理现可通过微调和强化学习适配 GR00T、Alpamayo、QWEN、Pi0.5 及其他兼容的 Hugging Face 模型,结合蒸馏与量化优化模型,并实现高性能推理部署。例如,机器人研究实验室 MicroAGI 在人类操作物体视频上后训练 Cosmos 3,并将其 320 亿参数推理器蒸馏为 80 亿参数 Nano 模型且保持精度无损。开发者还可在 Roboflow 上对 Cosmos 3 进行数据标注与后训练,随后将模型部署至 RoboFlow 托管或本地英伟达 GPU,将视频推理带入工厂与仓库。

影响分析

这一平台扩展对中文开发者与从业者具有直接的实际影响。首先,Cosmos Data Factory 提供的云原生蓝图与代理技能大幅降低了多模态数据处理门槛,企业无需从零搭建复杂的数据管线,即可快速生成合成数据以填补真实世界罕见场景的训练缺口。对于自动驾驶与机器人行业,这意味着团队可以在虚拟环境中完成大量验证,显著减少昂贵的实地测试成本与周期。

其次,Cosmos 3 NIM 微服务推理速度提升 2 倍且无质量损失的特性,直接降低了部署世界模型所需的算力成本,使中小企业与初创公司也能在有限预算下实现实时视频分析应用。同时,对 QWEN 等兼容 Hugging Face 模型的支持,为国内开发者使用本土大模型微调世界模型提供了官方工具链保障。总体而言,该更新将世界模型开发从“数据密集型”推向“工具链标准化”阶段,开发者可将精力聚焦于业务逻辑而非底层工程,加速物理 AI 在工业巡检、自动驾驶等垂直领域的商业化落地。

适用边界

该结论主要适用于物理 AI、自动驾驶、机器人及视频理解领域,且依赖于开发者具备 GPU 资源与一定的模型工程能力。对于纯文本生成、非多模态场景,或算力受限无法部署 80 亿参数及以上模型的轻量级边缘设备场景,此平台的核心优势(大规模数据工厂与高性能推理微服务)并不适用。此外,部分高级功能如 Cosmos 3 蒸馏流程仍需具备深度学习背景的专业人员操作,并非完全“开箱即用”的低代码方案。

孤本观察

从本次更新看,英伟达正将“代理技能”深度嵌入模型训练与数据管线,这不仅是工具升级,更是开发范式从“手动调参”向“AI 辅助自动化”的明确转向。

英伟达扩展 Cosmos 平台,推出全新工具以加速世界模型训练、评估与部署

英伟达扩展 Cosmos 平台,推出全新工具以加速世界模型训练、评估与部署

英伟达扩展 Cosmos 平台,推出全新工具以加速世界模型训练、评估与部署

英伟达扩展 Cosmos 平台,推出全新工具以加速世界模型训练、评估与部署

英伟达扩展 Cosmos 平台,推出全新工具以加速世界模型训练、评估与部署

常见问题

Cosmos 3 模型支持将多少参数的推理器蒸馏为 Nano 模型?

支持将 320 亿参数推理器蒸馏为 80 亿参数 Nano 模型,且保持精度无损。

使用 Cosmos Data Factory 结合合成数据生成,最多能减少多少比例的自动驾驶重复实地测试?

可将自动驾驶重复实地测试减少最多 90%,同时开发周期缩短最多 85%。

新版 Cosmos 3 NIM 微服务的推理速度提升了多少倍?

推理速度提升最高 2 倍,且无质量损失。

Cosmos Data Factory 提供的云原生蓝图可以通过哪些渠道获取?

可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取。

Metropolis VSS 3.3 对 GPU 监控视频流的数量有何提升?

同等 GPU 可监控多 40% 视频流。

来源:NVIDIA Blog


评论