【论文阅读】DSRL: Steering Your Diffusion Policy with Latent Space Reinforcement Learning

优质文章学习记录

— 9 min read

【论文阅读】Steering Your Diffusion Policy with Latent Space Reinforcement Learning

1 团队与发表时间

  • 团队：主要由 加州大学伯克利分校（UC Berkeley） 的研究人员组成，包括 Mitsuhiko Nakamoto, Andrew Wagenmaker, Sergey Levine 等，此外还有来自华盛顿大学和亚马逊（Amazon）的合作者。
  • 发表时间：该论文的 arXiv 版本更新于 2025 年 6 月 25 日。

2. 问题背景与核心思路

  • 问题背景：虽然基于行为克隆（BC）的扩散策略（Diffusion Policy）在机器人领域表现出色，但当预训练模型性能不足时，通常需要昂贵的人工演示来改进。传统的强化学习（RL）虽然能自主改进，但在高维动作空间中样本效率极低，且容易破坏扩散模型学到的先验分布，甚至造成训练不稳定。
    • 多步去噪导致的梯度爆炸/消失：扩散模型生成动作不是“一步到位”的，而是经过几十步（如 50 步）去噪。如果你想通过动作 a a a 的奖励来反向传播更新模型权重，梯度必须链式传导 50 层网络。这就像训练一个极深的循环神经网络（RNN），梯度在传导过程中极易失控，导致训练瞬间崩盘。
  • 核心思路：提出 DSRL。其核心想法是不在原始动作空间运行 RL，而是在扩散模型的“潜噪声空间（Latent-noise Space）”运行 RL。通过调整每一步去噪时加入的噪声（即“转向”），在保留原始行为分布的同时，引导策略向高奖励区域偏移。

3. 具体做法

3.1 模型设计

在这里插入图片描述
  • 潜空间引导（Latent Steering）：将预训练好的扩散策略视为一个“黑盒”。扩散策略通过多步去噪（从高斯噪声 ϵ \epsilon ϵ 迭代到动作 a a a）生成动作。
    • 做法：
      • 原本的扩散模型（比如 π 0 \pi_0 π0​ 或其他 Diffusion Policy）被当作一个固定的“基座”。
      • 训练对象：DSRL 额外训练的是一个轻量级的 Actor 网络（通常是一个简单的多层感知机 MLP）。这个 Actor 的任务是根据当前状态 s s s，预测一个噪声位移（Noise Shift） Δ ϵ \Delta \epsilon Δϵ。
      • 运行逻辑：在去噪过程中，原本输入给模型的纯高斯噪声 ϵ \epsilon ϵ 会被替换为 ϵ + Δ ϵ \epsilon + \Delta \epsilon ϵ+Δϵ。扩散模型依然按照原来的权重运行，但因为输入的“种子”变了，最终生成的动作就会向高奖励区域偏移。
    • 架构：使用了基于 Soft Actor-Critic (SAC) 框架的结构，包含 Actor 网络（预测噪声位移）和 Critic 网络（评估状态-噪声对的价值）。
    • 优势：
      • 防止先验崩溃（Maintaining Priors）：扩散模型里蕴含了大量从人类演示中学到的平滑动作先验。如果直接用 RL 微调权重，非常容易出现“灾难性遗忘”，导致机器人动作变得抖动、不自然。冻结权重能确保机器人永远在“人类可能的动作分布”附近进行微调。
      • 极高的样本效率：更新一个 8B 模型的参数需要海量数据和算力。而 DSRL 只训练一个极小的 Actor 网络（用来预测噪声偏移），这使得它在 20-40 次真机尝试内就能收敛，这在全参数微调中几乎是不可能的。

先天的保守优势：无论你给这个扩散模型输入什么样的初始噪声 w w w（哪怕是奇形怪状的 w w w），这个被冻结的“黑盒”模型最终吐出来的动作 a a a 几乎总是符合人类演示风格的、在分布内（In-distribution）的动作。因此噪声 w w w的探索是无穷的，而策略并不会出分布。

在这里插入图片描述

3.2 Loss 设计

  • Actor Loss：基于 SAC 的目标函数，包含最大化预期奖励和熵正则项。通过最小化 Q ( s , Δ ϵ ) Q(s, \Delta \epsilon) Q(s,Δϵ) 的负值来优化，同时约束 Δ ϵ \Delta \epsilon Δϵ 的大小，以防偏离原始分布太远。
  • Critic Loss：使用标准的时间差分（TD）误差来训练 Q Q Q 函数（Critic），评估在当前状态下采用特定噪声转向后的长期价值。
  • 软约束：通过 KL 散度或熵正则化，确保微调后的策略不会完全丧失预训练模型中蕴含的人类演示先验。

3.3 数据设计

  • 离线预训练数据：利用已有的行为克隆（BC）数据集（如人类演示）来初始化扩散策略。
  • 在线交互数据：在强化学习阶段，机器人通过执行带有噪声转向的动作与环境交互，收集新的三元组 ( s , Δ ϵ , r ) (s, \Delta \epsilon, r) (s,Δϵ,r) 用于更新 Actor 和 Critic。
  • 样本效率：由于是在低维且分布简单的噪声空间优化，DSRL 相比于直接在连续动作空间搜索，所需的数据量大幅减少。

4 实验效果

  • 模拟环境（Libero, Aloha）：在多个标准机器人基准测试中，DSRL 在极少的样本下（通常只需几十个或几百个 episodes）就能显著提升预训练策略的成功率。
  • 真机实验：在“打开烤箱”和“放勺子到盘子里”等任务中，通过与 π 0 \pi_0 π0​（Physical Intelligence 的基础模型）结合，DSRL 仅需 20-40 次真机交互 就能将成功率从接近 0% 提升到 80% 以上。实验证明其样本效率比直接在动作空间运行 SAC 高出数倍。

5 结论

DSRL 证明了在扩散模型的潜噪声空间进行强化学习是实现快速、自主策略改进的有效途径。它解决了扩散策略难以进行样本高效微调的难题，实现了“黑盒”式微调（无需深入修改扩散模型内部架构）。

6 扩散模型进行RL的方案

6.1 纯离线设置 (Purely Offline Setting)

在离线 RL 中，我们只有一份历史数据集（包含状态、动作和奖励），目标是从中学习一个能获得高奖励的策略。

  • 按价值加权的 BC (Weighted BC by Value):
    • 方法：这种方法不改变扩散模型的基本训练方式，但在损失函数上加权。给那些高奖励（高 Q Q Q 值或 V V V 值）的样本更大的权重，给表现差的样本小权重。
    • 本质：它是行为克隆（BC）的变体。模型依然在模仿，但它被告知“多模仿好学生，少模仿坏学生”。
  • 直接最大化奖励 (Directly maximizing a reward):
    • 方法：不只是模仿数据，而是直接将 R R R（奖励）或 Q Q Q（价值）作为目标函数。通过对扩散策略的参数求导，让模型生成的动作序列朝着奖励更高的方向偏移。
    • 难点：扩散模型是多步去噪，求导链条非常长，计算开销大且容易梯度爆炸。
  • 拒绝采样 (Rejection Sampling):
    • 方法：先用预训练好的扩散策略生成一大堆候选动作（比如生成 10 个），然后用一个学好的 Q Q Q 函数（评分器）对这 10 个动作打分，最后只执行分最高的那一个。
    • 本质：这是一种“后处理”策略，不需要重新训练模型，但在推理（Inference）时计算量翻倍。

6.2 在线设置 (Online Setting)

在线 RL 允许机器人与环境实时交互，根据反馈不断调整策略。

  • 基于 PPO 微调前几步去噪 (Finetune first few steps with PPO):
    • 方法：扩散模型去噪通常有几十步。有些方法只用经典的 PPO 算法去更新前几步（高噪声阶段）的神经网络参数。
    • 理由：早期步决定了动作的大致轮廓，后期步只是修饰细节。这种方法试图通过只动“大方向”来降低 RL 的学习难度。
  • 匹配 Q 函数的 Score (Matching the score of the Q-function):
    • 方法：数学上，扩散模型学习的是概率分布的“分值（Score）”。如果能学到一个奖励函数的分值 ∇ log ⁡ R \nabla \log R ∇logR，并将其加到扩散模型的梯度中，就能把动作推向高奖励区。
    • 本质：通过数学推导，将“寻找高奖励动作”转化成“沿着奖励梯度的方向去噪”。
  • 迭代式 BC (Iterative BC / Best-of-N):
    • 方法：机器人先去跑，选出表现好的轨迹（即那些 Q Q Q 值大的），把这些轨迹放回训练集，再次进行行为克隆（BC）。
    • 本质：自我进化。不断重复“尝试 -> 筛选好样本 -> 重新模仿好样本”的过程。

6.3 残差策略 (Residual Policy)

  • 方法：保持预训练好的扩散策略（ a d i f f a_{diff} adiff​）完全不动，另外训练一个轻量级的神经网络（残差网络）输出一个修正值 Δ a \Delta a Δa。最终执行的动作是 a = a d i f f + Δ a a = a_{diff} + \Delta a a=adiff​+Δa。
  • 本质：给扩散模型打一个“补丁”，用 RL 专门学习这个补丁。

Read more

前端直连模型 vs 完整 MCP：大模型驱动地图的原理与实践（技术栈Vue + Cesium + Node.js + WebSocket + MCP）

适合读者：完全新手、前端开发者、对大模型工具调用感兴趣的工程师 技术栈示例：Vue + Cesium + Node.js + WebSocket + MCP 教程目标：看懂并搭建一套“用户通过聊天输入指令，大模型决定调用工具，再驱动地图执行动作”的完整链路 目录 * 1. 这篇教程要解决什么问题 * 2. 先别写代码：先搞懂两个很像但本质不同的方案 * 2.1 方案一：前端直连模型 * 2.2 方案二：真正完整的 MCP * 2.3 它们最核心的区别 * 3. 为什么很多人一开始会把两套方案混在一起 * 4. 先建立整体认知：完整 MCP 里有哪些角色 * 5. 完整 MCP 的时序图：一句“飞到上海”是怎么穿过整个系统的 * 6.

离线部署大模型Ollama+DeepSeek+Open-WebUI 完整指南

离线部署大模型Ollama+DeepSeek+Open-WebUI 完整指南 一、整体架构与核心组件 1. 架构流程图 硬件环境Ollama 运行框架模型管理DeepSeek-R1 模型第三方模型导入服务暴露命令行交互API 服务局域网访问Open-WebUI 可视化界面功能应用聊天交互本地知识库图像生成 2. 核心组件说明 组件作用核心优势Ollama本地大模型运行框架跨平台、部署简单、支持模型导入/管理/API调用DeepSeek-R1高性能开源大模型（中英文支持）多参数版本、兼顾速度与精度、支持复杂任务Open-WebUI可视化 Web 界面易用性强、支持 RAG 知识库、多模型切换 二、前置准备 1. 硬件要求（关键） DeepSeek-R1 版本模型大小建议 CPU建议内存建议显存适用场景1.5B1.1GB4核4~8G4GB轻量文本处理、快速响应7B/8B4.7G/4.9G8核16G14GB日常使用、平衡性能与硬件14B9GB12核32G26GB复杂推理、代码生成32B20GB16核64G48GB专业级高精度任务70B+43GB+32核+

Flutter 三方库 bones_ui 的鸿蒙化适配指南 - 打造直观、响应式的 Web 风格 UI 交互体验

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 bones_ui 的鸿蒙化适配指南 - 打造直观、响应式的 Web 风格 UI 交互体验 Flutter for OpenHarmony 开发者在构建具有 Web 质感的跨平台应用时，UI 框架的选择至关重要。本文将带大家深度调研 Dart 三方库 bones_ui 在鸿蒙系统上的适配方案，探索如何利用其直观的组件架构，加速鸿蒙桌面级应用的开发效率。 前言 在移动端和桌面端融合的今天，开发者往往希望一套代码能同时适配多种屏幕形态。bones_ui 原生为 Dart Web 打造，但在 Flutter for OpenHarmony 的大前端生态中，其简洁的 UI 组件设计思想对我们构建鸿蒙跨平台应用具有极大的参考价值。
Rust WebAssembly与Three.js结合的3D数据可视化实战：高性能粒子系统

Rust WebAssembly与Three.js结合的3D数据可视化实战：高性能粒子系统

Rust WebAssembly与Three.js结合的3D数据可视化实战：高性能粒子系统 一、引言 💡3D数据可视化是现代Web应用的高级场景之一，广泛应用于数据分析、科学计算、游戏开发、虚拟仿真等领域。传统的JavaScript+WebGL/Three.js方案在处理大量数据（如百万级粒子）时，性能往往难以满足要求。Rust WebAssembly的高性能和内存安全特性，使得它非常适合优化3D数据可视化的核心算法，提高应用的响应速度和渲染帧率。 本章将深入探讨Rust WebAssembly与Three.js结合的3D数据可视化开发，介绍WebGL/Three.js的基本概念，讲解Rust Wasm与WebGL的交互方式，重点实现一个高性能粒子系统，支持粒子的创建、更新、删除，以及各种动画效果。最后，本章还将介绍如何优化粒子系统的性能，如何打包和部署项目。 二、WebGL与Three.js基础 2.1 WebGL概述 WebGL是一种基于OpenGL ES的Web图形库，允许开发者在Web浏览器中使用GPU加速渲染3D图形。WebGL的核心是着色器语言（GLSL）