Open-R1 是 Hugging Face 推出的 DeepSeek-R1 完全开源复现项目。旨在构建 DeepSeek-R1 流程中缺失的部分，支持社区复现与开发。核心包含 SFT 监督微调、GRPO 强化学习及合成数据生成脚本。项目基于 DeepSeek-R1 技术报告，分为语料库提取、纯 RL 流程复现及多阶段训练过渡三个步骤。支持 DDP 或 DeepSpeed ZeRO 训练，提供具体命令行配置示例，适用于具备一定算力资源的开发者进行大模型训练研究。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
Open-R1 是由 Hugging Face 推出的 DeepSeek-R1 的完全开源复现项目。该项目旨在构建 DeepSeek-R1 流程中缺失的部分，以便每个人都可以复现并在此基础上进行开发。项目设计简洁，主要包含用于训练、评估模型以及生成合成数据的脚本。
src/open_r1 目录包含核心功能脚本：
grpo.py：使用 GRPO（Group Relative Policy Optimization）在给定数据集上训练模型。sft.py：在数据集上对模型进行简单的 SFT（监督微调）。evaluate.py：在 R1 基准测试上评估模型性能。generate.py：使用 Distilabel 从模型生成合成数据。Makefile：包含针对 R1 流程中每个步骤的易于运行的命令，利用上述脚本。Open-R1 将以 DeepSeek-R1 技术报告为指导，大致可以分为三个主要步骤：
以下训练命令是针对配备 8 块 H100（80GB）显卡的单个节点配置的。如果使用不同的硬件或拓扑结构，可能需要调整批量大小和梯度累积步数。
支持使用 DDP（分布式数据并行）或 DeepSpeed ZeRO-2 和 ZeRO-3 来训练模型。要切换训练方法，只需更改 configs 文件夹中加速器（accelerate）YAML 配置文件的路径即可。
监督微调（SFT）是训练的基础步骤，代码如下：
accelerate launch --config_file=configs/zero3.yaml src/open_r1/sft.py \
--model_name_or_path Qwen/Qwen2.5-Math-1.5B-Instruct \
--dataset_name HuggingFaceH4/Bespoke-Stratos-17k \
--learning_rate 2.0e-5 \
--num_train_epochs 1 \
--packing \
--max_seq_length 4096 \
--per_device_train_batch_size 4 \
--per_device_eval_batch_size 4 \
--gradient_accumulation_steps 4 \
--gradient_checkpointing \
--bf16 \
--logging_steps 5 \
--eval_strategy steps \
--eval_steps 100 \
--output_dir data/Qwen2.5-1.5B-Open-R1-Distill
GRPO 阶段用于强化学习优化，配置如下：
accelerate launch --config_file configs/zero3.yaml src/open_r1/grpo.py \
--output_dir DeepSeek-R1-Distill-Qwen-7B-GRPO \
--model_name_or_path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
--dataset_name AI-MO/NuminaMath-TIR \
--max_prompt_length 256 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--logging_steps 10 \
--bf16
可以使用单块 H100 显卡，从 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 生成数据。
若需更高质量数据，可使用 2 个节点，每个节点配备 8 块 H100 显卡，从 DeepSeek-R1 模型生成数据。
更多详细信息可参考官方仓库： https://github.com/huggingface/open-r1
Open-R1 为社区提供了一个标准化的框架，用于复现 DeepSeek-R1 的训练流程。通过 SFT 和 GRPO 的结合，开发者可以在本地验证大模型的推理与数学能力。建议根据实际硬件资源调整 batch size 和梯度累积步数，以确保训练稳定性。