基于 LlamaFactory 微调 Qwen3.5-4B 模型实战指南

显示版本号即表示安装完成。此外，还需加载昇腾环境启动命令：

source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/asdsip/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh

准备数据集

将数据集放入 LlamaFactory/data 目录下。这里使用官方测试数据集作为示例，也可替换为自定义数据。

cd LlamaFactory/data
git clone https://modelers.cn/chicheng/mllm_robot.git
cd mllm_robot
mv mllm_robot.zip /home/openmind/LlamaFactory/data
cd /home/openmind/LlamaFactory/data
python3 -c "import zipfile; zipfile.ZipFile('mllm_robot.zip').extractall()"

修改 dataset_info.json 文件，注册新数据集：

"mllm_robot": {
    "file_name": "mllm_robot.json",
    "formatting": "sharegpt",
    "columns": {"messages": "messages", "images": "images"},
    "tags": {"role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant"}
},
"mllm_robot_en": {
    "file_name": "mllm_robot_en.json",
    "formatting": "sharegpt",
    "columns": {"messages": "messages", "images": "images"},
    "tags": {"role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant"}
}

模型微调

编写训练脚本

由于云端体验空间通常为终端模式，我们直接编写 YAML 配置文件来执行训练。

# 模型参数
model_name_or_path: /home/openmind/Qwen3.5-4B
template: qwen3_5
trust_remote_code: true

# 训练参数
stage: sft
do_train: true
finetuning_type: lora
lora_target: q_proj,k_proj,v_proj,o_proj
dataset: mllm_robot,mllm_robot_en
learning_rate: 1.0e-4
num_train_epochs: 5.0
per_device_train_batch_size: 1
gradient_accumulation_steps: 16
bf16: true

# 输出参数
output_dir: /home/openmind/Qwen3.5-4B/lora/train_Qwen3.5-4B
logging_steps: 10
save_steps: 500
overwrite_output_dir: true

# 硬件与分布式相关
fp16: false
ddp_timeout: 180000

关键参数说明：

• model_name_or_path: 指定本地模型路径或 Hugging Face ID。
• template: 选择对应模型的对话模板，Qwen3.5 系列通常用 qwen3_5。
• finetuning_type: 设为 lora 进行低秩适配，显存占用更低。
• bf16: 昇腾 910B 支持 bf16，开启可节省显存并加速。
• gradient_accumulation_steps: 梯度累积步数，用于模拟更大的 batch size。

执行训练

单卡训练

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train train_qwen_robot.yaml

多卡训练

先查看 NPU 设备编号：

npu-smi info

假设设备编号为 1 和 4，设置环境变量后启动：

WANDB_MODE=disabled FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=1,4 llamafactory-cli train ./train_qwen_robot.yaml

对比与验证

原始模型推理

拉起原始权重接口进行测试：

CUDA_VISIBLE_DEVICES=1 llamafactory-cli api \
--model_name_or_path /home/openmind/Qwen3.5-4B \
--template qwen3_5 \
--finetuning_type lora

发送请求查看输出：

curl -X POST http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "Qwen3.5-4B",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "image_url", "image_url": { "url": "data:image/png;base64,'$(base64 -w0 /home/openmind/LlamaFactory/data/images/robotera_1.png)'" } },
        { "type": "text", "text": "请识别并描述图片中的机器人及其特征" }
      ]
    }
  ],
  "max_tokens": 512,
  "temperature": 0.1
}'

微调后模型推理

加载 LoRA 权重重新拉起接口：

CUDA_VISIBLE_DEVICES=1 llamafactory-cli api \
--model_name_or_path /home/openmind/Qwen3.5-4B \
--adapter_name_or_path /home/openmind/Qwen3.5-4B/lora/train_Qwen3.5-4B \
--template qwen3_5 \
--finetuning_type lora

再次使用相同 curl 命令提问，观察输出差异。

启动 Web UI

如需图形化操作，可直接运行：

llamafactory-cli webui

点击返回的 URL 即可进入管理页面。

常见问题排查

若执行 llama-factory 提示找不到命令，需检查环境变量：

export PATH="/home/openmind/.local/bin:$PATH"
export PATH="/usr/local/bin:$PATH"

确保包路径已正确添加到系统环境变量中。