华为昇腾 910B 上基于 LLaMA-Factory 微调 Qwen3.5-32B 的 LoRA 实战

模型下载与数据准备

下载 Qwen3.5-32B 模型

Qwen3.5-32B 在 Hugging Face 可能需要授权，国内用户建议使用 ModelScope（魔搭社区）下载。

pip install modelscope
mkdir -p /data/models/qwen3.5-32b

python -c "
from modelscope import snapshot_download
snapshot_download(
    'qwen/Qwen3.5-32B',
    cache_dir='/data/models/qwen3.5-32b',
    revision='master'
)
"
# 模型路径通常为：/data/models/qwen3.5-32b/qwen/Qwen3.5-32B

准备微调数据集

LLaMA-Factory 支持 Alpaca 格式。创建 my_data.json 文件，内容示例如下：

[
  {
    "instruction": "你是谁？",
    "input": "",
    "output": "我是由张老师开发的 AI 助手，专注于解答公司制度问题。"
  },
  {
    "instruction": "年假怎么计算？",
    "input": "",
    "output": "根据《员工手册》第 5 章：工作满 1 年不满 10 年，年假 5 天；满 10 年不满 20 年，10 天。"
  }
]

保存至 LLaMA-Factory/data/my_data.json，并在 data/dataset_info.json 中注册该数据集：

"my_company_qa": {
  "file_name": "my_data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output"
  }
}

配置训练参数

创建 YAML 配置文件 train_qwen35_32b_lora.yaml。针对 32B 模型，显存管理是核心，需合理设置 batch size 与梯度累积。

### 模型设置 ###
model_name_or_path: /data/models/qwen3.5-32b/qwen/Qwen3.5-32B
template: qwen  # Qwen 系列必须指定 template

### 训练设置 ###
stage: sft
do_train: true
finetuning_type: lora
lora_target: all  # Qwen 推荐 all（含 attention + mlp）

### LoRA 参数 ###
lora_rank: 64
lora_alpha: 128
lora_dropout: 0.05

### 数据集 ###
dataset: my_company_qa
max_samples: 1000  # 若数据少可注释此行
val_size: 0.1

### 批处理 ###
per_device_train_batch_size: 1   # 32B 模型显存占用高，单卡 batch_size=1
gradient_accumulation_steps: 8   # 等效 batch_size = 1*8*8 = 64
lr_scheduler_type: cosine
learning_rate: 1e-4
num_train_epochs: 3
max_grad_norm: 1.0

### 输出 ###
output_dir: saves/qwen3.5-32b/lora/company_qa
logging_steps: 10
save_steps: 500
plot_loss: true

### 硬件 ###
bf16: true        # 昇腾 910B 支持 bf16
ddp_timeout: 18000

关键说明：

• per_device_train_batch_size=1：防止 OOM，32B 模型单卡显存紧张。
• gradient_accumulation_steps=8：模拟更大 Batch Size 以提升收敛稳定性。
• bf16: true：启用 bfloat16 混合精度，显著提升训练效率。

启动多卡微调训练

设置环境变量以识别所有 NPU 设备，并使用 torchrun 启动分布式训练。

# 设置可见 NPU（8 卡全用）
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

# 启动训练
torchrun \
  --nnodes=1 \
  --nproc_per_node=8 \
  src/train.py \
  --config train_qwen35_32b_lora.yaml

预计耗时取决于数据量，1000 条数据 × 3 epoch 在 8 卡 910B 上约需 2–4 小时。请实时监控日志中的 loss 变化，检查 saves/.../trainer_log.jsonl。

验证效果与模型导出

Chat 测试

训练完成后，加载 LoRA 适配器进行对话测试。

llamafactory-cli chat \
  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \
  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \
  --template qwen \
  --finetuning_type lora \
  --infer_backend vllm \
  --port 8080

或使用 WebUI 进行交互：

export ASCEND_RT_VISIBLE_DEVICES=0  # WebUI 单卡即可
llamafactory-cli webui
# 访问 http://<服务器 IP>:7860

合并模型（可选）

将 LoRA 权重合并到基础模型，生成可直接部署的完整模型。

llamafactory-cli export \
  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \
  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \
  --template qwen \
  --finetuning_type lora \
  --export_dir /data/models/qwen3.5-32b-finetuned

合并后的模型无需额外加载 adapter，可直接用于生产环境推理。

常见问题排查

若资源有限，可考虑使用 QLoRA（4-bit 量化），在配置文件中添加 quantization_bit: 4 并调整 finetuning_type: qlora。