介绍使用 Llama Factory 进行大模型分布式训练的完整流程。涵盖数据并行与模型并行概念、关键参数配置（设备、批大小、学习率）、LoRA 微调方法选择及训练监控。同时提供显存不足、速度提升等常见问题解决方案，帮助用户利用多卡资源加速模型微调任务。
当需要训练理解大量业务文档的 AI 助手时，模型和数据量较大，单卡训练可能耗时过长。分布式训练通过多台电脑或多张显卡并行处理任务，显著缩短时间。
Llama Factory 让大模型训练变得简单。面对海量数据或更大模型时，单卡训练会遇到瓶颈：速度慢、显存不够。分布式训练是解决这些问题的关键。
分布式训练能帮你：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
以下是具体配置步骤。
分布式训练主要有两种'分工'方式：
在 Llama Factory 界面上，以下设置直接决定分布式训练工作方式：
0,1,2,3 表示使用四张显卡。per_device_train_batch_size（每张显卡一次处理多少条数据）和 gradient_accumulation_steps（累积多少步再更新）。总有效批大小 = 每卡批大小 × 显卡数量 × 累积步数。理解了这些，即可进入实战环节。
假设已部署好 Llama Factory 环境并进入 Web 界面。
my_distributed_finetune。准备训练数据。Llama Factory 支持 JSON 格式。示例：
[ { "instruction": "将以下中文翻译成英文。", "input": "今天天气真好。", "output": "The weather is so nice today." } ]
点击 '上传数据' 上传 JSON 文件。确保 instruction 和 output 清晰准确。
Qwen2.5-7B-Instruct。0,1,2,3，系统自动启用分布式数据并行（DDP）。per_device_train_batch_size：根据单卡显存设置。7B 模型在 24G 显存卡上可尝试 4 或 8。gradient_accumulation_steps：若单卡批大小受限，可通过此参数模拟大批次效果。例如单卡批大小=2，累积步数=4，显卡数=4，有效批大小 = 2 * 4 * 4 = 32。sqrt(显卡数量)。例如单卡 2e-5，4 卡时可尝试 4e-5。跳转到训练日志页面，实时查看：
Using device: cuda:0, cuda:1, cuda:2, cuda:3，确认分布式环境启动。per_device_train_batch_size。启用 '梯度检查点' 功能。确保选择 LoRA 方法。通过上述步骤，掌握在 Llama Factory 中配置分布式训练的全流程：
训练设备 启用多卡。批处理大小 和 学习率。Llama Factory 封装了底层细节，让你专注于数据和模型。分布式训练的首要目标是让原本无法进行的任务变得可行。