英伟达开源 DreamDojo 世界模型：4.4 万小时数据破解机器人物理鸿沟

2. 核心价值：零样本泛化，适配未知场景与物体

连续潜在动作技术的最大价值，在于实现了'零样本泛化'——DreamDojo 在训练过程中，即便没有见过某类物体、某类场景，也能凭借习得的物理直觉，完成相应的操作。比如，模型通过学习人类折叠衣物的视频，不仅能折叠训练中见过的衣物，还能零样本适配从未见过的衣物款式；通过学习人类使用工具的视频，能快速上手从未见过的工具，展现出极强的通用性。

这一能力，彻底打破了传统机器人'训练即局限'的困境，让机器人能够快速适配真实世界的复杂变化——毕竟真实世界中，机器人遇到的物体、场景，大多是训练中从未见过的，而这种零样本泛化能力，正是通用型机器人的核心需求。

四、落地优势：实时控制 + 梦境规划，解锁多场景应用价值

世界模型的实用价值，往往受限于推理速度——如果模型的推理速度过慢，无法实时响应，即便具备强大的仿真能力，也难以落地到实际应用中。为了解锁下游应用场景，英伟达专门研发了一套蒸馏流水线，将 DreamDojo 的推理速度提升至10.81 FPS，实现了实时控制，进而解锁了三大高价值应用场景，让'梦境训练'真正转化为实际价值。

1. 实时遥操作：VR 操控虚拟机器人，实现'人机合一'

用户可以连接 VR 控制器（如 PICO 头显），实时遥操作'梦境'中的虚拟机器人——操作人员佩戴 VR 设备做出的每一个动作，无论是拾取、组装，还是移动、调整姿态，DreamDojo 都能实时捕捉，并映射到虚拟机器人身上，实现'人机合一'的流畅操控。

这种实时遥操作，不仅可以用于机器人的训练——通过人类的实时操控，为模型提供高质量的动作数据；还可以用于虚拟调试——在真实机器人未部署前，通过虚拟遥操作，测试机器人的动作逻辑，提前发现问题，降低真实部署的风险和成本。

2. 策略评估：仿真与真实高度契合，无需物理部署

DreamDojo 的一大核心优势，在于其极高的仿真真实性——在 DreamDojo 中模拟的动作成功率，与真实世界的结果，呈现出近乎完美的线性相关性，皮尔逊相关系数（Pearson r）达到了0.995，相当于'梦境中能成功的动作，真实世界中也能成功'。

这一特性，让开发者无需将机器人部署到真实场景，就能快速评估机器人的策略效果——通过在 DreamDojo 中测试不同的动作策略，根据成功率排名，筛选出最优策略，再应用到真实机器人上，大幅缩短了机器人的研发周期，降低了研发成本，尤其适合工业场景中，高成本、高风险的机器人部署。

3. 基于模型的规划：预判未来动作，提升任务成功率

DreamDojo 还具备'梦境规划'能力——能够并行模拟多个动作方案，预判每个方案的未来结果，再筛选出最优方案执行。英伟达的测试数据显示，在水果包装任务中，借助这种规划能力，机器人的任务成功率提升了 17%，尤其适合复杂、精细的工业操作场景。

比如，在水果包装过程中，机器人需要根据水果的大小、形状，调整抓取力度和包装角度，DreamDojo 可以提前模拟多种抓取、包装方案，预判每种方案的效果，选择最稳妥、最高效的方案执行，避免因动作失误导致水果损坏，提升生产效率。

五、赛道博弈：开源差异化，角逐世界模型核心赛道

DreamDojo 的开源发布，正值世界模型赛道的激烈博弈——2026 年以来，1X Technologies 推出 1XWM、谷歌 DeepMind 发布 Genie 3，各大企业纷纷布局世界模型，争夺物理 AI 的核心话语权。而英伟达的差异化优势，不仅在于超大规模数据集和核心技术创新，更在于其'全面开源'的战略，彻底区别于同行的封闭布局。

1. 与 1XWM、Genie 3 的核心差异：开源 vs 封闭，规模 vs 场景

当前世界模型赛道的三大核心玩家，路线差异极为鲜明，形成了三足鼎立的竞争格局：

• **谷歌 DeepMind Genie 3：**聚焦'生成式仿真场景'，能够根据简单指令，生成多样化的虚拟场景，为机器人提供海量训练环境，但采用封闭策略，未开源模型和数据，且更侧重场景生成，在动作控制的精准度上，与 DreamDojo 存在差距；

• **1X Technologies 1XWM：**采用'900 小时第一视角人类视频'，聚焦'直觉物理'的习得，侧重将虚拟训练成果迁移到真实机器人，但数据集规模远小于 DreamDojo，且同样采用封闭布局，仅服务于自身机器人研发；

• **英伟达 DreamDojo：**兼顾'超大规模数据集 + 核心技术 + 全面开源'，数据集规模和多样性碾压同行，且通过连续潜在动作技术，实现了动作控制的精准度，同时开源模型权重、代码和数据集，邀请全球开发者参与迭代，打造开放生态，适配所有形态的机器人，通用性更强。

2. 理念契合：与勒丘恩并肩，坚守物理 AI 核心

在行业理念上，DreamDojo 与扬·勒丘恩（Yann LeCun）的物理 AI 理念高度契合——均反对'过度依赖大语言模型'，主张优先发展'视觉想象 + 直觉物理'，让机器人通过理解物理世界，自主做出决策，而非单纯依靠文本指令。

DreamDojo 基于开源权重的 Cosmos-Predict2.5 潜在视频扩散模型构建而成，这款底层模型本身就具备强大的视觉生成和物理仿真能力，能够生成符合物理定律的合成数据，与勒丘恩倡导的'世界模型应具备直觉物理认知'的理念完全一致，也让 DreamDojo 成为英伟达布局下一代物理 AI 的核心基础平台。

3. 模型规格：双版本适配，海量算力支撑

为了适配不同的研发需求，英伟达同步发布了 DreamDojo 的两个版本，均采用 256 块 NVIDIA H100 GPU 进行预训练，兼顾性能与灵活性：

• **2B 参数版本：**轻量化设计，适配普通研发设备，适合中小开发者、初创企业，用于基础的仿真训练和技术验证；

• **14B 参数版本：**高性能版本，具备更强的物理认知和泛化能力，适配大型企业、科研机构，用于复杂场景的仿真训练和高端机器人研发。

六、行业对比与未来展望：开源生态，推动物理 AI 进入规模化时代

DreamDojo 的开源发布，不仅是英伟达物理 AI 战略的重要里程碑，更标志着世界模型赛道，从'封闭研发'进入'开源协同'的新时代。英伟达通过开放模型、代码和数据集，降低了世界模型的研发门槛，吸引全球开发者参与迭代，有望彻底破解机器人数据鸿沟，推动通用型机器人加速落地。

潜在挑战：两大考验，决定开源生态成色

挑战一：仿真与真实的终极适配。尽管 DreamDojo 的仿真成功率与真实世界的相关性达到 0.995，但在极端复杂场景（如恶劣环境、高精度工业操作）中，能否持续保持这种高度契合，实现'零误差迁移'，仍需长期验证；

挑战二：开源生态的运营与标准化。开源只是第一步，如何吸引全球开发者积极参与二次开发、场景适配，如何制定统一的技术规范，避免生态碎片化，同时保护开源成果，推动技术迭代，是英伟达面临的核心考验。

未来展望：梦境训练，重构机器人研发范式

短期来看，英伟达将聚焦两大核心任务：一是持续优化 DreamDojo 的性能，提升推理速度和仿真真实性，完善 2B 和 14B 两个版本的功能，补充更多复杂场景的数据集；二是运营开源生态，收集开发者反馈，逐步开放更多训练工具，深化与 Cosmos-Predict2.5 模型的集成，推动技术快速迭代。

中期来看，DreamDojo 将与英伟达此前开源的 SONIC 全身追踪技术深度融合，形成'梦境训练 + 实时控制'的完整闭环——DreamDojo 为机器人提供虚拟训练场景，让机器人在'梦境'中完成规模化训练；SONIC 作为运动控制大脑，将虚拟训练的成果，实时映射到真实机器人身上，大幅缩短机器人的研发与落地周期，同时适配更多形态的机器人，推动技术在工业、家庭服务等场景的试点应用。

长期来看，DreamDojo 的开源与普及，将彻底重构机器人的研发范式——未来，机器人无需依赖海量真实数据采集，只需在 DreamDojo 的'梦境'中，通过学习人类视频、模拟各类场景，就能快速掌握各项技能，具备通用化的物理认知。同时，英伟达通过构建开放的物理 AI 生态，将进一步巩固其在算力、模型领域的领先地位，推动整个人形机器人行业，从'实验室原型'向'规模化商用'加速跨越，让能够'思考、想象'的通用型机器人，真正走进我们的生活和工作。

从 4.4 万小时的人类视频，到开源的'梦境训练平台'，DreamDojo 的发布，不仅破解了机器人数据鸿沟的核心难题，也为物理 AI 的发展指明了方向。未来，随着开源生态的不断完善，以及技术的持续迭代，'梦境训练'将成为机器人研发的标配，通用型机器人的落地速度，也将迎来质的飞跃。