大模型辅助强化学习的四条主流技术路线综述

LLM 作为奖励设计者

奖励函数设计和有效奖励信号生成一直是强化学习在复杂任务或者稀疏奖励环境下的两大难题。传统方法依赖人工设计，难以覆盖所有情况。

大模型可以通过以下两种方式缓解该问题：

1. 隐式奖励函数设计：利用上下文理解能力、推理能力和知识，通过任务 prompt 或文字 - 视觉对齐的方式生成奖励。例如，让 LLM 判断当前状态是否优于上一状态，从而生成稠密奖励信号。
2. 显式奖励函数设计：通过输入环境规范信息，LLM 生成可执行奖励函数代码（例如 Python 等），显式地逻辑计算奖励函数的各个部分，且可以根据评估自主修正。这使得奖励函数更具可解释性和可维护性。

这种方法极大地降低了奖励工程的门槛，使得人类更自然的偏好能够被转化为算法可理解的信号。

LLM 作为决策者

在决策问题中，大模型可以作为直接的决策主体或间接的指导者。

1. 直接决策者：Decision Transformer 在离线强化学习中展现了巨大的潜力。大语言模型可视作增强版的大型预训练 Transformer 模型，利用本身强大的时序建模能力和自然语言理解能力解决离线强化学习的长期决策问题。它可以直接输出动作序列，无需传统的 Q 值网络。
2. 间接决策者：作为一个指导者，结合预训练专家知识和任务理解能力，生成动作候选（action candidates），缩小动作选择范围；或者生成参考策略（reference policy）指导 RL 策略更新。这种方式结合了 LLM 的常识推理和 RL 的精确优化能力。

LLM 作为生成者

在基于模型的强化学习（model-based RL）中，LLM 可以作为多模态世界模型（world model），结合自身知识和建模能力来生成高质量长期轨迹或者学习世界状态转移表征。

此外，在可解释强化学习中，大模型可以通过理解轨迹、环境与任务，根据 prompt 自动生成代理的自然语言行为解释，增加用户在调用、调优 RL 模型时的理解。这对于安全关键型应用尤为重要，因为人类操作员需要知道智能体为何做出某个决定。

讨论与展望

未来潜在应用

LLM-enhanced RL 的未来潜在应用包括但不限于：

1. 机器人：利用多模态理解能力和推理能力，LLM-enhanced RL 可以提升人 - 机器的交互效率；帮助机器人理解人类需求逻辑；提高任务决策和规划能力。例如，家庭服务机器人需要根据模糊指令完成复杂家务。
2. 自动驾驶：自动驾驶使用强化学习做复杂动态场景下的决策问题，涉及多传感器数据与道路规范、行人举止等。大模型可以帮助强化学习处理多模态信息以及设计综合奖励函数，例如安全、效率、乘客舒适度等权衡。
3. 电力系统能量管理：在能量系统中，运营者或者用户使用强化学习来高效管理多种能力的使用、转换和存储等，其中涉及高不确定性的可再生能源。大模型可以帮助设计多目标函数与提高样本利用效率，应对电网波动。

潜在机会

1. 在强化学习方面：目前的工作都集中在通用强化学习，而针对特定强化学习分支的工作较少，包括多代理强化学习、安全强化学习、迁移强化学习和可解释强化学习等。结合 LLM 可以进一步丰富这些分支的理论基础。
2. 在大模型方面：目前的工作大部分仅仅是使用 prompt 技术，而检索增强生成（RAG）技术和 API、工具调用能力可以显著提高 LLM 在特定情况下的表现。例如，结合外部知识库进行更准确的奖励预测。

面临的挑战

1. 对大模型的能力依赖：大模型的能力决定了强化学习代理学习到的策略，大模型固有的偏见、幻觉等问题也会影响代理的能力。如果 LLM 产生幻觉，可能导致 RL 策略学习到错误的行为模式。
2. 交互效率：目前大模型的计算开销较大、交互效率慢，在在线强化学习中会影响代理与环境的交互速度。实时性要求高的场景可能需要蒸馏或量化技术。
3. 道德、伦理问题：实际人 - 机器的应用中，大模型的道德、伦理等问题需要被认真考虑。例如，自动驾驶中的伦理抉择，或者机器人服务中的隐私保护。

总结

该综述文章系统总结了大模型在辅助强化学习方面的最近研究进展，定义了 LLM-enhanced RL 这样一类方法，并总结了大模型在其中的四种主要角色及其方法，最后讨论了未来的潜在应用、机会与挑战，希望能给未来该方向的研究者一定启发。

• 信息处理者：大模型为强化学习代理提取观测表征和规范语言，提高样本利用效率。
• 奖励设计者：在复杂或无法量化的任务中，大模型利用知识和推理能力设计复杂奖励函数和生成奖励信号。
• 决策者：大模型直接生成动作或间接生成动作建议，提高强化学习探索效率。
• 生成者：大模型被用于：（1）作为高保真多模态世界模型减少现实世界学习成本及（2）生成代理行为的自然语言解释。