AIGC实战——世界模型(World Model)
AIGC实战——世界模型
0. 前言
世界模型 (World Model) 展示了如何通过在生成的想象环境中进行实验来训练模型(而不是在真实环境中进行训练)，从而学习如何执行特定任务。世界模型很好的说明了如何将生成模型与其他机器学习技术(如强化学习)相结合使用解决实际问题。
该架构的关键组成部分是生成模型，它可以根据当前状态和动作构建下一个可能状态的概率分布。该模型通过随机运动建立对基本物理环境的了解之后，该模型能够完全依靠自身对环境的内部表示来自我训练一个新任务。在本章中，我们将详细介绍世界模型，了解智能体如何学习尽可能快地驾驶汽车在虚拟赛道上行驶。
1. 强化学习
强化学习 (Reinforcement Learning, RL) 是机器学习的一个领域，旨在训练一个智能体在给定环境中以达到特定目标，以取得最大化的预期利益。
判别模型和生成模型都旨在通过观测数据集来最小化损失函数，而强化学习旨在最大化智能体在给定环境中的长期奖励。通常，我们将强化学习视为机器学习的三个主要分支之一，另外两个是监督学习(使用标记数据进行预测)和无监督学习(从无标签数据中学习结构)。
接下来，我们首先介绍与强化学习相关的一些关键概念：
- 环境 (
Environment)：智能体在其中运行的世界。它定义了一组规则，这些规则决定了在给定智能体当前动作和当前游戏状态的情况下，游戏状态的更新过程和奖励分配。例如，如果我们训练强化学习算法下国际象棋，那么构成环境的规则将控制某个动作如何影响下个游戏状态，并确定如何评估一