世界模型发展脉络综述：理解世界还是预测未来？

1990: '世界模型'概念提出

• 提出者：Jürgen Schmidhuber（博士论文）
• 核心观点：AI 模型应具备对现实世界的全面认知，能模拟未来情景，使用循环神经网络（RNN）构建简单世界模型。
• 技术特点：使用 RNN 建模时序依赖，端到端学习，压缩表示。

3.2 深度学习时代（2010s）

2010s 初期：深度学习引入

• 技术突破：CNN 处理视觉输入，RNN 捕捉时间序列，深度神经网络提升表达能力。
• 代表工作：DQN (2013-2015) 推动深度 RL 发展；神经网络动态模型开始学习环境动态。

2015-2017：基于模型的深度强化学习

1. Neural Network Dynamics Models：使用深度神经网络学习环境动态，结合模型预测控制（MPC）。
2. Imagination-Augmented Agents (I2A, 2017)：使用学习的模型进行'想象'，结合无模型和基于模型的方法。
3. Model-Based Value Expansion (MBVE, 2017)：使用模型展开价值估计，提高样本效率。

3.3 现代世界模型时代（2018-2020）

2018: World Models 论文（里程碑）

• 作者：David Ha & Jürgen Schmidhuber (NeurIPS 2018)
• 核心贡献：
  1. VAE-RNN 架构：视觉输入 → VAE 编码器 → 潜在表示 → RNN → 预测未来
  2. 三大组件：V (Vision, VAE 压缩视觉)、M (Memory, MDN-RNN 预测潜在状态)、C (Controller, 线性控制器)
  3. 训练流程：收集数据 → 训练 VAE → 训练 RNN → 在模型中训练控制器（梦境训练）
• 关键创新：压缩表示、梦境训练、进化算法（CMA-ES）优化控制器。
• 影响：引发研究热潮，成为经典范式。

2019: PlaNet & Dreamer 系列

• PlaNet：纯粹基于模型的规划方法，在潜在空间中进行规划。
• Dreamer：在模型中学习价值函数和策略，采用 Actor-Critic 在潜在空间训练。
• 技术特点 (RSSM)：结合确定性路径 $h_t = f(h_{t-1}, s_{t-1}, a_{t-1})$ 与随机路径 $s_t \sim p(s_t \mid h_t)$，提升长期预测能力。

3.4 扩展与应用时代（2020-2023）

• 2020: Dreamer-V2：引入离散潜在表示，训练更稳定，在 Atari 游戏上达到人类水平。
• 2021-2022: 多样化发展：
  1. Transformer-based：IRIS (2021), TransDreamer (2022)，更好建模长期依赖。
  2. 视频预测模型：直接在像素空间预测，保真度更高。
  3. 离线强化学习：MBOP, MOPO，利用世界模型进行数据增强。
  4. 大规模预训练：UniSim (2023)，在大规模数据集上预训练并迁移。
• 2023: Dreamer-V3：统一算法，支持视觉到连续控制，多项基准测试 SOTA。关键技术：Symlog predictions, Free bits, Unimix categoricals。

3.5 多模态与大模型时代（2024-至今）

• 语言模型作为世界模型：LLM 具备丰富世界知识，支持因果与常识推理。
• 视频生成模型作为世界模型：Sora (2024) 生成高质量视频并理解物理规律；Genie (2024) 从视频学习交互式环境，生成可玩游戏。
• 多模态融合：结合视觉、语言、动作，构建统一世界表示，泛化能力更强。

4. 关键技术演进

4.1 表示学习演进

4.2 动态建模演进

1. 概率图模型（1980s-2000s）：HMM、卡尔曼滤波。特点：线性假设、高斯噪声、解析解。
2. 神经网络模型（2010s）：$s_{t+1} = \text{NN}(s_t, a_t)$。特点：非线性、端到端学习、表达能力强。
3. 循环神经网络（2018-2020）：$h_t = \text{RNN}(h_{t-1}, [z_t, a_t])$。特点：时序建模、隐状态、长期依赖。
4. RSSM（2019-2023）：结合确定性与随机性，预测更准，训练更稳。
5. Transformer（2022-2024）：$s_{1:T} = \text{Transformer}([s_0, a_0, \dots, a_{T-1}])$。特点：全局注意力、并行计算。

4.3 训练方法演进

1. 监督学习（早期）：$\mathcal{L} = |s_{t+1}^{\text{pred}} - s_{t+1}^{\text{true}}|^2$。简单直接，但易累积误差。
2. 梦境训练（2018）：真实数据收集 → 训练模型 → 模型内训练策略 → 部署。样本效率高，依赖模型质量。
3. Dyna 风格（2019-2023）：交替进行真实交互、模型更新、策略训练。结合真实与模拟经验，更鲁棒。
4. 对比学习（2023-2024）：自监督学习，无需像素级重构，表示质量更高。

4.4 规划方法演进

1. 模型预测控制（MPC）：滚动优化，代表：PlaNet。
2. 价值函数学习：在模型中学习 $V(s)$ 与 $\pi(a|s)$，代表：Dreamer 系列。
3. 蒙特卡洛树搜索（MCTS）：Selection → Expansion → Simulation → Backpropagation，代表：MuZero。

5. 主要研究方向

5.1 基于模型的强化学习（Model-Based RL）

• 核心思想：利用世界模型提高样本效率、支持规划、减少真实交互。
• 主要方法：Dyna 系列、World Models/Dreamer 系列、MuZero 系列（隐式模型）。
• 优势：样本效率高、支持规划、安全探索。
• 挑战：模型误差累积、训练不稳定、计算开销大。

5.2 视频预测（Video Prediction）

• 目标：从历史帧预测未来帧。
• 方法：确定性预测、随机性预测、潜在空间预测（Encoder-Decoder 架构）。
• 代表：SVG, SV2P, Video Transformer, Diffusion-based 预测。

5.3 多模态世界模型

• 动机：现实世界包含视觉、语言、动作、声音等多模态信息。
• 方向：语言-视觉模型（LWM）、视频生成模型（Sora, Genie）、具身 AI 模型（RT-2, PaLM-E）。
• 挑战：多模态对齐、统一表示学习、跨模态推理。

5.4 可解释世界模型

• 目标：构建可解释表示，理解因果关系与物理规律。
• 方法：结构化模型（对象中心表示）、因果模型（反事实推理）、物理先验模型（嵌入物理约束）。

5.5 泛化世界模型

• 目标：泛化至新环境。
• 方法：元学习（MAML）、预训练-微调（UniSim）、领域自适应（Sim-to-Real）。

6. 应用领域

6.1 强化学习

• 提高样本效率（生成额外数据）、支持规划（前向搜索）、安全探索（规避真实风险）。
• 应用：Atari 游戏、机器人控制、连续控制任务。

6.2 自动驾驶

• 场景预测：当前场景 → 未来场景推演。
• 规划验证：轨迹模拟与安全性评估。
• 数据增强：合成极端/长尾场景。
• 代表：World-on-Rails, TrafficSim, KING。

6.3 机器人

• 运动规划、操作学习（Sim-to-Real）、场景理解。
• 代表：DayDreamer, TD-MPC, RoboDreamer。

6.4 社会模拟

• 社会行为预测、政策评估、虚拟社会构建。
• 代表：Generative Agents, Social Simulacra。

6.5 游戏 AI

• 游戏生成（Genie, GameGAN）、游戏 AI 决策（MuZero, Agent57）、程序化内容生成。

7. 未来趋势

1. 多模态融合：统一潜在空间，跨模态注意力机制，赋能具身 AI。
2. 大规模预训练：类似 LLM 路径，构建 World Foundation Models。挑战在于数据收集、算力与评估标准。
3. 物理先验与因果推理：嵌入 PINN 与因果发现算法，提升泛化与可解释性。
4. 长期预测：层次化预测（短/中/长期）、不确定性量化、自适应预测粒度。
5. 可解释性与可信度：潜在空间可视化、概念提取、形式化验证。
6. 高效训练与推理：模型压缩（蒸馏/剪枝/量化）、高效架构（稀疏 Transformer/SSM）、硬件加速。
7. Sim-to-Real 迁移：领域随机化、领域自适应、真实世界微调。
8. 人机协作：交互式学习、RLHF、可解释预测辅助决策。

8. 关键里程碑总结

8.1 理论里程碑

8.2 技术里程碑

9. 核心论文列表

9.1 奠基性论文

• Dyna Architecture (1989): Sutton, R. S. (1990). Integrated architectures for learning, planning, and reacting...
• World Models 概念 (1990): Schmidhuber, J. (1990). Making the world differentiable...

9.2 现代世界模型

• World Models (2018): Ha & Schmidhuber. NeurIPS 2018.
• PlaNet (2019): Hafner et al. ICML 2019.
• Dreamer (2019): Hafner et al. ICLR 2020.
• MuZero (2020): Schrittwieser et al. Nature.
• Dreamer-V2 (2020): Hafner et al. ICLR 2021.
• Dreamer-V3 (2023): Hafner et al. arXiv.

9.3 应用与多模态

• DayDreamer (2022): Wu et al. CoRL 2022.
• TD-MPC (2022): Hansen et al. ICML 2022.
• UniSim (2023): Yang et al. ICLR 2024.
• Genie (2024): Bruce et al. ICML 2024.
• Sora (2024): OpenAI Technical Report.
• RoboDreamer (2024): Zhou et al. arXiv.

9.4 综述

• World Models Survey (2024): Ding, J., Zhang, Y., et al. arXiv:2411.14499.

10. 关键概念术语表

• 世界模型：智能体对环境的内部表示或模拟。
• 状态/动作空间：所有可能状态/动作的集合。
• 潜在空间：压缩的低维表示空间。
• 前向/逆向模型：预测下一状态 / 预测导致状态转移的动作。
• 隐式/显式模型：直接预测价值策略 / 显式预测状态。
• 梦境训练：在模型内部训练策略。
• RSSM：循环状态空间模型，结合确定性与随机路径。
• MPC/MCTS：模型预测控制 / 蒙特卡洛树搜索。
• Sim-to-Real：从模拟环境到真实世界的迁移。

11. 发展脉络图

11.1 时间线

1980s-1990s: 概率模型时代
 ├─ HMM, Kalman Filter
 ├─ 1989: Dyna 架构
 └─ 1990: 世界模型概念

2010s: 深度学习时代
 ├─ 2013: VAE
 ├─ 2015: DQN
 └─ 2017: I2A, MBVE

2018-2020: 现代世界模型时代
 ├─ 2018: World Models
 ├─ 2019: PlaNet, Dreamer
 └─ 2020: MuZero, Dreamer-V2

2021-2023: 扩展与应用时代
 ├─ 2021: IRIS, TransDreamer
 ├─ 2022: DayDreamer, TD-MPC
 └─ 2023: Dreamer-V3, UniSim

2024-至今: 多模态与大模型时代
 ├─ 2024: Sora, Genie
 ├─ 2024: RoboDreamer
 └─ 2024: 系统综述发布

11.2 技术演进

• 表示学习：手工特征 → CNN → VAE → RSSM → Transformer → 多模态
• 动态建模：HMM → 神经网络 → RNN → RSSM → Transformer → 扩散模型
• 训练方法：监督学习 → 梦境训练 → Dyna 风格 → 对比学习 → 多模态预训练
• 规划方法：MPC → 价值函数学习 → MCTS → 层次化规划

12. 总结与展望

12.1 发展总结

1. 奠基期（1980s-1990s）：概率模型与 Dyna 架构奠定理论基础。
2. 深度学习期（2010s）：神经网络引入，表达能力飞跃，处理高维输入。
3. 现代范式期（2018-2020）：World Models 开创新范式，Dreamer 确立主流，MuZero 展示隐式潜力。
4. 扩展应用期（2021-2023）：架构多样化，向真实世界应用迈进。
5. 多模态大模型期（2024-至今）：多模态融合与大规模预训练，迈向通用世界模型。

12.2 核心洞察

• 两大功能：理解世界（构建表示） vs 预测未来（指导决策）。
• 关键要素：表示学习、动态建模、规划决策。
• 主要挑战：误差累积、长期预测困难、泛化有限、计算成本高。

12.3 关键问题

1. 理解 vs 预测：是否需要理解才能预测？如何平衡？
2. 显式 vs 隐式：Dreamer（显式状态）与 MuZero（隐式价值）孰优？
3. 模型 vs 无模型：如何高效结合两者优势？
4. 通用 vs 专用：通用基础模型与任务特定模型的权衡。

12.4 未来展望

• 短期：多模态模型成熟，大规模预训练落地，机器人/自动驾驶应用深化。
• 中期：通用世界模型涌现，Sim-to-Real 突破，物理先验与因果推理深度融合。
• 长期：接近人类水平的世界理解，实现真正具身智能，成为 AI 核心基础设施。

13. 参考资源

13.1 代码与开源项目

• World Models: https://github.com/worldmodels/worldmodels.github.io
• Dreamer 系列: https://github.com/danijar/dreamer (V1/V2/V3)
• MuZero: https://github.com/deepmind/mctx
• PlaNet: https://github.com/google-research/planet
• TD-MPC: https://github.com/nicklashansen/tdmpc

13.2 教程与课程

• 课程：UC Berkeley CS285 (Deep RL), Stanford CS330 (Multi-Task & Meta Learning)
• 博客：World Models Blog, Danijar Hafner's Blog
• 讲座：David Ha & Danijar Hafner 相关技术分享

13.3 主要研究团队

• 学术：Google DeepMind, UC Berkeley RL Lab, Stanford AI Lab, MIT CSAIL
• 工业：OpenAI, Google Brain, Meta AI, NVIDIA Research