昇腾平台 cann-recipes-train 仓库提供 DeepSeek-R1 与 Qwen2.5 强化学习训练优化实践。基于 verl 框架，结合 MindSpeed 与 vLLM-Ascend，在 Atlas A3 集群实现 GRPO 算法高吞吐训练，通过训推一体化、参数重排及算子融合提升性能。Qwen2.5 样例支持单卡 Atlas A2 环境，配套优化 MATH 任务奖励函数以解决稀疏信号问题。该仓库连接 CANN 能力与训练业务，提供典型模型与算法的可运行代码样例，助力开发者高效完成大模型微调与部署。
自 DeepSeek-R1 发布以来，大模型的强化学习（RL）训练掀起了新一轮的技术热潮。各大厂商与开源社区纷纷投入实践，持续探索更高效的 RL 训练体系。本文将基于 cann-recipes-train 仓库，解读两个实践样例：DeepSeek-R1 的 RL 训练优化实践样例、基于 verl 框架的 Qwen2.5 强化学习实践样例。
大模型训练拼效率的阶段，CANN 直接帮我们搞定了底层异构硬件适配、资源调度这些麻烦事，不用再从零研究 GPU 和 NPU 怎么协同，现有模型代码也不用大改就能对接，训 LLM 或多模态模型时还能通过算子优化、内存复用提升速度、减少资源浪费。
cann-recipes-train 仓库不搞抽象理论，全是能直接复用的代码样例，比如具体 LLM 的训练优化步骤、多模态模型的算子调试方法，帮我们跳过'看官方文档懂了但不会用'的坑，不用自己反复试错，快速掌握 CANN 的优化技巧，把精力集中在模型本身。
方便广大开发者在昇腾环境中高效开展大模型的微调与续训，将开源的 cann-recipes-train 仓库面向典型的 LLM 与多模态模型训练任务，提供基于 CANN 平台优化样例与实践指南，帮助开发者简单、快速、高效在昇腾平台上完成模型训练与优化部署。首批版本中，cann-recipes-train 将上线两个基于 verl 强化学习框架的典型训练样例，分别覆盖 Qwen2.5 与 DeepSeek-R1-671B 两大模型。
Notebook 启动成功后使用 npu-smi 查看 NPU 状态、利用率。当前 Notebook 的昇腾 910B3 NPU 状态正常，功耗 96.5W、温度 46℃，HBM 显存仅用 3.3G（总 64G），无运行进程，资源低负载。
针对 DeepSeek-R1 模型，基于 verl 开源框架，配合 MindSpeed-LLM 和 vLLM-Ascend 框架，完成 RL 训练全流程的优化适配。
硬件要求：
vLLM-Ascend 社区已经做好了 DeepSeek-R1 的昇腾适配，能直接用它提推理性能，但要让 verl 和它兼容，得改关键接口，主要是初始化 vLLMRollout 对象的 vllm_rollout_spmd.py 文件：
大模型 RL 的时候，训练和推理时，模型在显卡上的分片方式完全不一样。训练时 8 张卡分成两组各 4 张（EP4），流水线也拆成多段（PP2）；推理时得把 8 张卡合并成一组（EP8），流水线也不分段了（PP1）。
模型训练完更新参数后，得把参数从训练的分片方式改成推理能用的（reshard），在训练组内用 alltoallv 通信，参数重排的时候没冗余数据传输，这一步快了不少。
另外 Actor、Rollout、Ref 三个模型挤在同一批卡上，切换的时候，前一个模型占着显存呢，不挪走新模型根本装不下，所以得先把不用的模型挪到主机内存（offload）腾地方，再把要用的加载到显卡，这部分昇腾团队专门调了显存管理和数据迁移的细节，切换耗时降了不少。
这两部分优化下来，训推切换会更加顺畅，迭代效率也会明显提高。
reshard 优化核心：
offload 优化核心：
复用 MindSpeed 训练优化。
verl 目前对接了 MindSpeed，因此训练侧主要复用了 MindSpeed 在内存、通信和计算方面的许多优化技术，包含 Ascend Swap Optimizer 和使能融合算子等，对应的配置脚本片段大概是这样。
old_log_prob 免计算
GRPO 这类 on-policy 算法里，有个关键特性：训练时模型参数未更新前，old_log_prob 的计算结果，和 update_actor 环节前向计算得到的 log_prob 完全一致，毕竟两者依赖的是同一套模型参数。
所以昇腾团队用 log_prob.detach() 直接替代 old_log_prob，省去一次训练模型的前向计算，大幅节省耗时。考虑到 verl 原生不支持这一优化，团队专门为其补充实现了该功能，目前只需要将配置项 config.actor_rollout_ref.actor.recompute_old_log_prob 设为 False，就可以启用优化。
DeepSeek-R1'1K 推 3K'的 RL 推理场景中，昇腾团队以 162 token/p/s 的基础吞吐为起点，通过多轮技术迭代实现推理性能的阶梯式跃升：
一系列优化大幅压缩了长序列 RL 推理的耗时占比，成为昇腾团队推动 RL 训练整体性能提升的核心突破口！
基于 Qwen2.5-1.5B-Instruct 模型，搭配 verl 强化学习框架，在 MATH-lighteval 数学推理数据集上开展训练。
针对原生奖励函数'字符串等价性误判、奖励信号稀疏'的问题，通过多维度分级评分引导模型精准学习。
verl 框架下 MATH 任务的奖励函数总分 1 分，遵循'答案正确性优先'原则：
同时答案错误时不评估格式、思维链，避免模型偏离精准求解目标，既解决了原生函数的误判问题，也通过多维度评分缓解了奖励稀疏，同时能引导模型生成更规范的表达、更完整的推理过程。
Cann 仓库诞生源于大模型训练的两大痛点：一是 CANN 平台的底层优化能力如算子调度、内存管理需要结合具体模型场景才能发挥价值，开发者缺乏场景化参考；二是强化学习等复杂训练流程的工程化落地难度高，需兼顾框架整合、硬件适配与性能调优，而 cann-recipes-train 通过'典型模型 + 优化算法 + 可运行样例'的组合，直接打通了'CANN 能力→训练业务'的链路，对开发者来说 cann-recipes-train 不算通用训练框架，更像 CANN 平台训练优化的实战手册。
cann-recipes-train 仓库针对 LLM、多模态训练场景中的典型模型、算法，提供基于 CANN 平台的优化样例，方便开发者简单、快速、高效等使用 CANN 进行模型训练。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
