11-Xtuner具体使用以及LLama Factory与Xtuner多卡微调大模型
训练前
500轮训练后
xtuner命令不存在
版本：0.2.0存在
回退到0.2.0rc0版本，注意这个版本的依赖固定
一、大模型分布式训练的基本概念
1.1 为什么需要分布式训练？
模型规模爆炸：现代大模型（如GPT-3、 LLaMA等）参数量达千亿级别，单卡GPU无法存储完整模型。
计算资源需求：训练大模型需要海量计算（如GPT-3需数万GPU小时），分布式训练可加速训练过程。
内存瓶颈：单卡显存不足以容纳大模型参数、梯度及优化器状态。
1.2 分布式训练的核心技术
数据并行（Data Parallelism）
原理：将数据划分为多个批次，分发到不同设备，每个设备拥有完整的模型副本。
同步方式：通过All-Reduce操作同步梯度（如PyTorch的DistributedDataParallel）。
挑战：通信开销大，显存占用高（需存储完整模型参数和优化器状态）。
模型并行（Model Parallelism）
原理：将模型切分到不同设备（如按层或张量分片）。
类型：
横向并行（层拆分）：将模型的层分配到不同设备。
纵向并行（张量拆分）：如Megatron-LM将矩阵乘法分片。
挑战：设备间通信频繁，负载均衡需精细设计。
流水线并行（Pipeline Parallelism）
原理：将模型按层划分为多个阶段（stage），数据分块后按流水线执行。
优化：微批次（Micro-batching）减少流水线气泡（Bubble）
挑战：需平衡阶段划分，避免资源闲置。
混合并行（3D并行）
组合策略：结合数据并行、模型并行、流水线并行，典型应用如训练千亿级模型。
案例：微软Turing-NLG、Meta的LLaMA-2。
二、DeepSpeed框架介绍
2.1 DeepSpeed概述
定位：微软开源的分布式训练优化框架，支持千亿参数模型训练。
核心目标：降低大模型训练成本，提升显存和计算效率。
集成生态：与PyTorch无缝兼容，支持Hugging FaceTransformers库
2.2 核心技术
ZeRO（Zero Redundancy Optimizer）
原理：通过分片优化器状态、梯度、参数，消除数据并行中的显存冗余。
阶段划分：
ZeRO-1：优化器状态分片。
ZeRO-2：梯度分片 + 优化器状态分片。
ZeRO-3：参数分片 + 梯度分片 + 优化器状态分片。
优势：显存占用随设备数线性下降，支持训练更大模型。
2.3显存优化技术
梯度检查点（Activation Checkpointing） 用时间换空间，减少激活值显存占用。
CPU Offloading：将优化器状态和梯度卸载到CPU内存。
混合精度训练：FP16/BP16与动态损失缩放（Loss Scaling）
其他特性
大规模推理支持：模型并行推理（如ZeRO-Inference）。
自适应通信优化：自动选择最佳通信策略（如All-Reduce vs. All-Gather）。 （
2.4 优势与特点
显存效率高：ZeRO-3可将显存占用降低至1/设备数。
易用性强：通过少量代码修改即可应用（如DeepSpeed配置JSON文件）。
扩展性优秀：支持千卡级集群训练。
开源社区支持：持续更新，与Hugging Face等生态深度集成。
2.5 使用场景
训练百亿/千亿参数模型（如GPT-3、Turing-NLG） C
资源受限环境：单机多卡训练时通过Offloading扩展模型规模。
快速实验：通过ZeRO-2加速中等规模模型训练。
三、xtuner微调大模型教程
1.构建虚拟环境
拉取 XTuner，过程大约需要几分钟
git clone https://github.com/InternLM/xtuner.git# 查看pip缓存大小和位置 pip cache info # 清理整个pip缓存 pip cache purge建议执行
conda create --name xtuner-env python=3.10 -y conda activate xtuner-env 
先查看显卡的版本，然后去官网下载对应的
https://pytorch.org/get-started/previous-versions/
然后安装依赖的软件，这步需要的时间比较长。注意版本号
cd xtuner pip install -e '.[all]'如果环境不通，请看附件
等以上所有步骤完成后，再进行下面的操作。
2.下载模型
官方支持的模型名称
3.数据集
xtuner支持很多数据集，但是性能更高的是默认的数据集
社区数据集json样式
xtune的格式
转换脚本
4.微调
创建微调训练相关的配置文件在左侧的文件列表，xtuner 的文件夹里，打开
xtuner/xtuner/configs/internlm/internlm2_chat_1_8b/internlm2_chat_1_8b_qlora_alpaca_e3.py， 复制一份至根目录。
这里有预训练、微调的模版
打开这个文件，然后修改预训练模型地址，数据文件地址等。
注意对话模版是否匹配
权重的保存，500次，存最后两个（要存第三个，会自己删除第一个），如果想全保存，2改成-1
Q_lora的设置，如果不用将dict改成None
lora的参数
### PART 1中 #预训练模型存放的位置 pretrained_model_name_or_path = '/root/llm/internlm2-1.8b-chat'#基座模型路径 #微调数据存放的位置 alpaca_en_path = "tatsu-lab/alpaca" # 训练中最大的文本长度 max_length = 512 # 每一批训练样本的大小 batch_size = 2 #最大训练轮数 max_epochs = 3 #验证数据 evaluation_inputs = [ '只剩一个心脏了还能活吗？', '爸爸再婚，我是不是就有了个新娘？', '樟脑丸是我吃过最难吃的硬糖有奇怪的味道怎么还有人买','马上要上游泳课了，昨天洗的泳裤还没 干，怎么办', '我只出生了一次，为什么每年都要庆生' ] # PART 3中 dataset=dict(type=load_dataset, path="json", data_files=alpaca_en_path) dataset_map_fn=None 中断后基于当前路径参数，继续训练，，，，将五百一轮保存的参数放在这
5.启动微调
在当前目录下，输入以下命令启动微调脚本
单卡：
xtuner train 配置文件的路径
多卡
指定显卡 、命令、 配置文件、命令、制定deepspeed类型
多卡指定显卡
启动后日志输出，权重保存目录
训练预定批次之后，就会输出配置文件的测试问题，直观的看到模型的训练情况
6.模型转换
模型训练后会自动保存成 PTH 模型（例如 iter_2000.pth，如果使用了 DeepSpeed，则将会是一个 文件夹，指定这个文件夹就好），我们需要利用 xtuner convert pth_to_hf 将其转换为 HuggingFace 模型，以便于后续使 用。具体命令为：
${FINETUNE_CFG} ${PTH_PATH} ${SAVE_PATH}
配置文件路径（训练和转换是同一个配置文件）、训练后模型的路径、希望保存到
7.模型合并
如果使用了 LoRA / QLoRA 微调，则模型转换后将得到 adapter 参数，而并不包含原 LLM 参数。如果您 期望获得合并后的模型权重（例如用于后续评测），那么可以利用 xtuner convert merge ：${LLM} - 原始预训练模型的路径这是未经微调的基础模型（如 Qwen-7B、Llama-2-7B 等）通常直接从 Hugging Face 下载或本地已有的原始模型${LLM_ADAPTER} - 微调后的适配器权重路径转换后的模型目录${SAVE_PATH} - 合并后的完整模型保存路径将原始模型和适配器权重合并后生成的新模型保存位置合并后的模型可以独立使用，不需要额外加载适配器
四、了解LLamaFactory多卡微调大模型
无法自主选择参与训练的gpu，默认全选
DeepdSpeed
none，不使用分布式微调
2、3对应 ZeRO
将优化器状态和梯度卸载到CPU内存。
五、xtuner 双/单卡微调实操
环境请看，三、1
1、租用服务器
去这个网站便宜，3090 24G，0.8/小时
https://gpushare.com/auth/register?user=17*****3793&fromId=b83b02e15e64&source=linkhttps://gpushare.com/auth/register?user=17*****3793&fromId=b83b02e15e64&source=link简单体验一下，然后就不用了，这里服务器就简单点
主播被制裁了，采用我之前租用的，3090 24G操作一下，本质上没区别就是命令的区别
2、模型选择、下载
为了快速体验，这里选择qwen1.5 0.5B
3、训练数据集
这里直接粘贴，注意数据格式的转换
这只展示一点，全部太大了
4、微调设置
找好模型对应的配置文件模版
由于环境问题，修改配置文件，绕过对 bitsandbytes 的依赖
改好的配置文件
5、启动训练
确保，保存的目录为空
注意所在目录和绝对路径
单卡：
正在训练
每50次测试一次，每100轮保存参数
6、模型转换
adapter_config.json：LoRA 配置（如 rank、alpha、target_modules 等），供 PEFT 库读取。adapter_model.bin：训练得到的 LoRA 权重。README.md：xtuner 自动生成的说明文件，记录训练配置和基础模型信息。xtuner_config.py：训练时使用的完整配置文件备份（便于追溯）。
7、模型合并
config.json：模型配置（架构、参数等）pytorch_model.bin：合并后的完整模型权重tokenizer.json、vocab.json、merges.txt等：分词器所需文件generation_config.json：生成参数（如max_new_tokens等）chat_template.jinja：对话模板（Qwen 风格）added_tokens.json、special_tokens_map.json：特殊 token 映射
附件：
xtuner中文文档
一、bitsandbytes 升级1.1 问题背景初始环境使用bitsandbytes==0.45.0，与 PyTorch 2.10.0 自带的triton==3.6.0不兼容（triton.ops缺失）。且bitsandbytes==0.45.0没有为 CUDA 12.8 提供预编译二进制，导致导入失败。1.2 升级步骤
bash# 1. 强制卸载旧版本 pip uninstall bitsandbytes -y # 2. 清理 pip 缓存（避免使用旧 wheel） pip cache purge # 3. 安装最新兼容版本（>=0.47.0 已支持 triton 3.x 和 CUDA 12.8） pip install bitsandbytes>=0.47.0 --no-cache-dir
1.3 验证版本pip show bitsandbytes | grep Version
期望输出Version: 0.49.2或更高。
二、依赖冲突解决2.1 冲突情况xtuner在requirements/runtime.txt中固定要求bitsandbytes==0.45.0，而实际安装了 0.49.2，pip 会发出警告。该警告可以安全忽略，因为 0.49.2 是后向兼容的，且已解决核心问题。2.2 处理方式忽略警告，继续使用高版本。可选：修改xtuner/requirements/runtime.txt中的bitsandbytes==0.45.0为bitsandbytes>=0.47.0，然后重新安装 xtuner（pip install -e .）以消除警告。三、测试办法3.1 测试 bitsandbytes 导入
bashpython -c "import bitsandbytes; print(f'bitsandbytes 版本: {bitsandbytes.__version__}')"
无报错则成功。3.2 测试 triton 版本（确认与 torch 匹配）pip show triton | grep Version
应输出Version: 3.6.0（与 torch 2.10.0 一致）。3.3 测试完整环境导入
python -c "import torch, bitsandbytes, transformers, mmengine, xtuner; print('环境正常')"3.4 测试训练启动（不实际运行）
python -m xtuner.tools.train ../day12/my_config.py --help
如果显示帮助信息，说明配置加载无语法错误。四、源码修改（解决DS_CEPH_DIR缺失）4.1 错误现象ImportError: cannot import name 'DS_CEPH_DIR' from 'xtuner'
由于xtuner/engine/_strategy/deepspeed.py中导入了该变量，但xtuner/__init__.py未定义。4.2 修复方法
编辑/hy-tmp/xtuner/xtuner/__init__.py，在文件末尾添加：
DS_CEPH_DIR = ''
保存后重新运行训练即可。4.3 验证修复python -c "from xtuner import DS_CEPH_DIR; print(DS_CEPH_DIR)"
应输出空字符串，无报错。
