本文总结了 Mini Qwen 1B 大模型的从头训练经验，涵盖预训练、SFT 微调和 DPO 偏好对齐三个阶段。实验基于 6 张 H800 显卡，使用 Accelerate、DeepSpeed 和 TRL 等工具。预训练阶段发现数据多样性不足会导致复读现象，Instruct 版本相对较好。SFT 阶段通过增加 System Prompt 提升了角色扮演泛化能力。DPO 阶段因数据规模和质量限制，性能提升不明显。文章提供了详细的超参数配置表及针对常见问题的排查建议，为小模型训练提供参考。
本文分享了基于 Mini Qwen 1B 大模型进行预训练、SFT 微调及 DPO 偏好对齐的完整实践经验。项目开源地址：https://github.com/qiufengqijun/mini_qwen
本次实验在 6 张 H800 GPU 上进行，主要参数配置如下：
| 阶段 | 数据量 | 训练时间 (h) | Epoch | Batch Size | 学习率 | 序列长度 | 训练策略 |
|---|---|---|---|---|---|---|---|
| 预训练 | 16B token | 25 | 1 | 1152 | 1e-4 | 1024 | zero-2 |
| SFT | 9M 条 | 43 | 3 | 1152 | 1e-5 | 1024 | zero-2 |
| DPO | 60K 条 | 1 | 3 | 384 | 5e-7 | 1024 | zero-2 |
全部流程采用以下工具链进行分布式训练与加速：
预训练使用了 16B token 的数据集。在数据预处理中，采用了序列打包（Sequence Packing）技术以提高显存利用率。
复读现象：
数据质量：
在 TrainingArguments 中可灵活配置保存逻辑：
确保安装兼容版本的 PyTorch、DeepSpeed 和 TRL 库。推荐使用 Docker 容器管理依赖以避免版本冲突。
本次训练验证了 Mini Qwen 1B 在有限算力下的可行性。虽然存在复读现象且 DPO 效果未达预期，但通过合理的系统提示词设计和数据配比，模型已具备基础对话能力。后续工作应聚焦于提升数据多样性及优化 DPO 数据集质量。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
