论文来源: Understanding World or Predicting Future? A Comprehensive Survey of World Models arXiv 编号: 2411.14499v2
作者: Jingtao Ding, Yunke Zhang, Yu Shang, Yuheng Zhang, et al.
发布时间: 2024 年 11 月
1. 概述
1.1 什么是世界模型？
世界模型（World Models）是人工智能系统对环境的内部表示或模拟，旨在：
- 理解世界机制：构建内部表示以理解环境的运作规律
- 预测未来状态：预测环境的动态变化以指导决策
1.2 核心问题
论文标题提出了世界模型研究的两个核心问题：
- 理解世界（Understanding World）：构建对环境的内部表示，理解物理规律和因果关系。
- 预测未来（Predicting Future）：预测环境的未来状态，模拟可能的行动结果。
1.3 两大功能分类
| 功能类型 | 目标 | 应用 |
|---|---|---|
| 理解型 | 构建内部表示，理解世界机制 | 知识表示、因果推理、场景理解 |
| 预测型 | 预测未来状态，模拟决策结果 | 强化学习、规划、自动驾驶 |
2. 世界模型的定义
2.1 经典定义
世界模型是智能体（Agent）对环境的内部表示或模拟，用于预测环境的动态和结果，支持决策和规划。
2.2 数学表示
在强化学习框架下，世界模型通常表示为：
s_{t+1} = f(s_t, a_t)
其中 s_t 为当前状态，a_t 为当前动作，f 为世界模型（状态转移函数）。
2.3 扩展定义
现代世界模型不仅预测状态转移，还包括观察模型、奖励模型和终止模型。
3. 发展时间线
3.1 早期阶段（1980s-1990s）
- 1980s: 统计学习方法，使用 HMM、卡尔曼滤波等。
- 1989: Dyna 架构提出，将强化学习与内部世界概念结合。
- 1990: Jürgen Schmidhuber 提出'世界模型'概念，使用 RNN 构建简单世界模型。
3.2 深度学习时代（2010s）
- 2010s 初期: 引入 CNN 处理视觉输入，RNN 捕捉时间序列。
- 2015-2017: 基于模型的深度强化学习兴起，如 I2A、MBVE。
3.3 现代世界模型时代（2018-2020）
- 2018: World Models 论文发布，提出 VAE-RNN 架构和梦境训练。
- 2019: PlaNet 和 Dreamer 系列开始，引入 RSSM 模型。
3.4 扩展与应用时代（2020-2023）
- 2020: Dreamer-V2 实现离散潜在表示。
- 2021-2022: Transformer-based 世界模型及视频预测模型发展。
- 2023: Dreamer-V3 实现统一算法，多任务 SOTA。
3.5 多模态与大模型时代（2024-至今）
- 2024: 多模态世界模型兴起，如 Sora、Genie，结合语言模型与视频生成。
4. 关键技术演进
4.1 表示学习演进
从手工特征到深度特征，再到 VAE 潜在空间、RSSM、Transformer 及多模态表示。
4.2 动态建模演进
从概率图模型（HMM）到神经网络模型，再到循环神经网络、RSSM 及 Transformer。
4.3 训练方法演进
包括监督学习、梦境训练、Dyna 风格及对比学习。
4.4 规划方法演进
涵盖模型预测控制（MPC）、价值函数学习及蒙特卡洛树搜索（MCTS）。
5. 主要研究方向
- 基于模型的强化学习（Model-Based RL）：提高样本效率，支持规划。
- 视频预测（Video Prediction）：从过去帧预测未来帧。
- 多模态世界模型：融合视觉、语言、动作信息。
- 可解释世界模型：理解因果关系，发现物理规律。
- 泛化世界模型：适应新环境，Sim-to-Real 迁移。
6. 应用领域
- 强化学习：Atari 游戏、机器人控制。
- 自动驾驶：场景预测、规划验证。
- 机器人：运动规划、操作学习。
- 社会模拟：行为预测、政策评估。
- 游戏 AI：游戏生成、AI 对战。
7. 未来趋势
- 多模态融合：统一的多模态世界表示。
- 大规模预训练：类似 LLM 的发展路径。
- 物理先验与因果推理：嵌入物理约束。
- 长期预测：解决误差累积问题。
- 可解释性与可信度：形式化验证与可视化。
- 高效训练与推理：模型压缩与硬件加速。
- Sim-to-Real 迁移：领域随机化与自适应。
- 人机协作：交互式学习与人类反馈。
8. 关键里程碑总结
- 理论里程碑：Dyna 架构 (1989)、世界模型概念 (1990)、World Models (2018)、Dreamer (2019)、MuZero (2020)。
- 技术里程碑：VAE、RNN/LSTM、RSSM、Transformer、Diffusion Models、LLM、Sora。
- 应用里程碑：MuZero 围棋、Dreamer-V2 Atari、DayDreamer 机器人、Sora 视频生成。
9. 核心论文列表
- 奠基性论文: Dyna Architecture, World Models 概念。
- 现代世界模型: World Models, PlaNet, Dreamer, MuZero, Dreamer-V3。
- 应用论文: DayDreamer, TD-MPC, UniSim。
- 多模态世界模型: Genie, Sora, RoboDreamer。
- 综述论文: Understanding World or Predicting Future? (2024)。
10. 关键概念术语表
- 基础概念: 世界模型、状态空间、动作空间、潜在空间。
- 模型类型: 前向模型、逆向模型、隐式模型、显式模型。
- 训练方法: 监督学习、自监督学习、梦境训练。
- 架构组件: VAE, RNN, RSSM, MDN, Transformer。
- 应用相关: MPC, MCTS, Sim-to-Real, 具身 AI。
11. 发展脉络图
- 时间线: 1980s 概率模型 -> 2010s 深度学习 -> 2018 现代世界模型 -> 2024 多模态大模型。
- 技术演进: 手工特征 -> CNN -> VAE -> RSSM -> Transformer -> 多模态。
- 应用领域: 强化学习、自动驾驶、机器人、游戏 AI、社会模拟。
12. 总结与展望
世界模型经历了奠基期、深度学习期、现代世界模型期、扩展应用期及多模态大模型期。核心洞察在于理解与预测的平衡，以及表示、动态、规划三大要素。未来将聚焦多模态融合、大规模预训练、物理先验及长期预测。
