基于 LlamaFactory 微调 Qwen3.5-4B 模型实战

这里使用准备好的测试数据集，你也可以替换为自己制作的数据集。

# 下载数据集（请替换为实际可用的数据集地址）
git clone <your_dataset_repo>
# 移动数据集到 LlamaFactory/data 文件夹
cd mllm_robot
mv mllm_robot.zip /home/openmind/LlamaFactory/data

# 然后我们到 LlamaFactory/data 目录来解压数据集
cd /home/openmind/LlamaFactory/data
python3 -c "import zipfile; zipfile.ZipFile('mllm_robot.zip').extractall()"

修改 dataset_info.json 文件，将刚刚下载的数据集添加进去。

"mllm_robot": {
    "file_name": "mllm_robot.json",
    "formatting": "sharegpt",
    "columns": {"messages": "messages", "images": "images"},
    "tags": {"role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant"}
},
"mllm_robot_en": {
    "file_name": "mllm_robot_en.json",
    "formatting": "sharegpt",
    "columns": {"messages": "messages", "images": "images"},
    "tags": {"role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant"}
}

模型微调

训练脚本准备

由于当前运行环境为终端模式，无法直接使用 Web UI，因此需要编写一个训练的 YAML 配置文件。

# 模型参数
model_name_or_path: /home/openmind/Qwen3.5-4B
# 或您的本地模型路径
template: qwen3_5
trust_remote_code: true

# 训练参数
stage: sft
do_train: true
finetuning_type: lora
lora_target: q_proj,k_proj,v_proj,o_proj
dataset: mllm_robot,mllm_robot_en
learning_rate: 1.0e-4
num_train_epochs: 5.0
per_device_train_batch_size: 1
gradient_accumulation_steps: 16
bf16: true

# 输出参数
output_dir: /home/openmind/Qwen3.5-4B/lora/train_Qwen3.5-4B
logging_steps: 10
save_steps: 500
overwrite_output_dir: true

# 硬件与分布式相关
fp16: false
ddp_timeout: 180000

关键参数说明：

• model_name_or_path: 模型路径，支持本地路径或 Hugging Face ID。
• template: 对话模板，Qwen3.5 系列选择 qwen3_5。
• trust_remote_code: 对于 Qwen 等自定义结构模型，必须设为 true。
• stage: 训练阶段，sft 表示监督微调。
• finetuning_type: 微调方法，lora 为低秩适配，显存友好。
• lora_target: LoRA 作用的目标模块，如注意力层的线性层。
• dataset: 训练数据集名称，需在 data/dataset_info.json 中定义。
• learning_rate: 初始学习率，LoRA 通常用 1e-4 左右。
• bf16: 使用 bfloat16 混合精度训练，昇腾 910B 支持开启以节省显存。
• output_dir: 训练输出目录，用于保存检查点和权重。
• ddp_timeout: 分布式训练超时时间，防止通信卡死。

使用单卡训练命令：

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train train_qwen_robot.yaml

多卡训练命令：

新建一个终端，先查看 NPU 卡的设备编号：

npu-smi info

可以看到 NPU 卡的设备编号分别是 1, 4。

WANDB_MODE=disabled FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=1,4 llamafactory-cli train ./train_qwen_robot.yaml

对比训练前后的模型

拉起加载原始模型权重：

CUDA_VISIBLE_DEVICES=1 llamafactory-cli api \
--model_name_or_path /home/openmind/Qwen3.5-4B \
--template qwen3_5 \
--finetuning_type lora

使用 curl 命令提问，查看输出内容：

curl -X POST http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "Qwen3.5-4B",
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/png;base64,'$(base64 -w0 /home/openmind/LlamaFactory/data/images/robotera_1.png)'"
          }
        },
        {
          "type": "text",
          "text": "请识别并描述图片中的机器人及其特征"
        }
      ]
    }
  ],
  "max_tokens": 512,
  "temperature": 0.1
}'

拉起加载 LoRA 权重的模型：

CUDA_VISIBLE_DEVICES=1 llamafactory-cli api \
--model_name_or_path /home/openmind/Qwen3.5-4B \
--adapter_name_or_path /home/openmind/Qwen3.5-4B/lora/train_Qwen3.5-4B \
--template qwen3_5 \
--finetuning_type lora

依然是使用上面的 curl 命令去提问，对比输出效果。

启动 Web UI 命令：

llamafactory-cli webui

点击返回的 URL 地址即可进入 Web UI 页面进行交互。

可能出现的问题

如果执行 LlamaFactory 命令时提示找不到命令，可以在终端运行以下命令设置环境变量：

export PATH="/home/openmind/.local/bin:$PATH"
export PATH="/usr/local/bin:$PATH"