华为昇腾 910B 使用 LLaMA-Factory 微调 Qwen3.5-32B 模型 LoRA 指南

✅ 正确输出应包含：

• NPU type: Ascend910B2
• CANN version: 8.0.RC2
• PyTorch version: 2.4.0 (NPU)

第四步：下载 Qwen3.5-32B 模型（从魔搭社区）

❗ Qwen3.5-32B 在 Hugging Face 需授权，推荐使用 ModelScope（魔搭）

# 安装 modelscope
pip install modelscope
# 下载模型到本地（约 60GB）
mkdir -p /data/models/qwen3.5-32b
python -c "
from modelscope import snapshot_download
snapshot_download(
    'qwen/Qwen3.5-32B',
    cache_dir='/data/models/qwen3.5-32b',
    revision='master'
)
"

📌 模型路径最终为：/data/models/qwen3.5-32b/qwen/Qwen3.5-32B

第五步：准备微调数据集（Alpaca 格式）

创建训练数据 my_data.json（示例：公司制度问答）：

[
  {
    "instruction": "你是谁？",
    "input": "",
    "output": "我是由 AI 助手开发的 AI 助手，专注于解答公司制度问题。"
  },
  {
    "instruction": "年假怎么计算？",
    "input": "",
    "output": "根据《员工手册》第 5 章：工作满 1 年不满 10 年，年假 5 天；满 10 年不满 20 年，10 天。"
  }
]

保存到：LLaMA-Factory/data/my_data.json

然后注册数据集：

# 编辑 dataset_info.json
nano data/dataset_info.json

在文件末尾添加：

"my_company_qa": {
  "file_name": "my_data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output"
  }
}

第六步：配置多卡训练参数（YAML 文件）

创建配置文件 train_qwen35_32b_lora.yaml：

### 模型设置 ###
model_name_or_path: /data/models/qwen3.5-32b/qwen/Qwen3.5-32B
template: qwen  # Qwen 系列必须指定 template
### 训练设置 ###
stage: sft
do_train: true
finetuning_type: lora
lora_target: all  # Qwen 推荐 all（含 attention + mlp）
### LoRA 参数 ###
lora_rank: 64
lora_alpha: 128
lora_dropout: 0.05
### 数据集 ###
dataset: my_company_qa
max_samples: 1000  # 若数据少可注释此行
val_size: 0.1
### 批处理 ###
per_device_train_batch_size: 1   # 32B 模型单卡 batch_size=1
gradient_accumulation_steps: 8   # 等效 batch_size = 1*8*8 = 64
lr_scheduler_type: cosine
learning_rate: 1e-4
num_train_epochs: 3
max_grad_norm: 1.0
### 输出 ###
output_dir: saves/qwen3.5-32b/lora/company_qa
logging_steps: 10
save_steps: 500
plot_loss: true
### 硬件 ###
bf16: true        # 昇腾 910B 支持 bf16
ddp_timeout: 18000

⚠️ 关键说明：

• per_device_train_batch_size=1：32B 模型显存占用高，单卡只能 batch=1
• gradient_accumulation_steps=8：模拟更大 batch
• bf16: true：启用 bfloat16 提升性能（昇腾支持）

第七步：启动多卡微调训练

# 设置可见 NPU（8 卡全用）
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
# 启动训练（使用 torchrun 多进程）
torchrun \\
  --nnodes=1 \\
  --nproc_per_node=8 \\
  src/train.py \\
  --config train_qwen35_32b_lora.yaml

🕒 预计耗时：

• 1000 条数据 × 3 epoch ≈ 2–4 小时（8 卡 910B）
• 日志实时输出 loss，检查 saves/.../trainer_log.jsonl

第八步：验证微调效果（Chat 测试）

训练完成后，加载 LoRA 适配器进行对话：

llamafactory-cli chat \\
  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \\
  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \\
  --template qwen \\
  --finetuning_type lora \\
  --infer_backend vllm \  # 若安装了 vLLM-NPU（可选）
  --port 8080

或使用 WebUI：

export ASCEND_RT_VISIBLE_DEVICES=0  # WebUI 单卡即可
llamafactory-cli webui

访问 http://<服务器 IP>:7860 → 加载模型 → 测试问答。

第九步：合并模型（可选）

将 LoRA 权重合并到基础模型，生成完整模型：

llamafactory-cli export \\
  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \\
  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \\
  --template qwen \\
  --finetuning_type lora \\
  --export_dir /data/models/qwen3.5-32b-finetuned

合并后模型可直接用于推理，无需额外加载 adapter。

常见问题解决

总结

你已完成：

1. 昇腾 910B 环境配置
2. Qwen3.5-32B 模型下载
3. 自定义数据集微调
4. 8 卡 LoRA 分布式训练
5. 效果验证与模型导出

💡 提示：Qwen3.5-32B 是超大模型，若资源有限，可考虑：

• 使用 QLoRA（4-bit 量化）：finetuning_type: qlora + quantization_bit: 4
• 微调更小版本：如 Qwen3.5-7B

部署包结构

qwen35-32b-ascend-finetune/
├── setup_env.sh             # 1. 环境初始化
├── download_model.sh        # 2. 下载 Qwen3.5-32B（魔搭）
├── prepare_data.py          # 3. 生成示例数据集
├── train_qwen35_32b_lora.yaml # 4. 训练配置文件
├── run_train.sh             # 5. 启动多卡训练
├── test_chat.sh             # 6. 加载模型对话测试
├── merge_model.sh           # 7. 合并 LoRA 权重（可选）
└── README.md                # 使用说明

文件 1：setup_env.sh

#!/bin/bash
# setup_env.sh - 初始化昇腾 910B 环境
echo "🚀 创建 Conda 环境..."
conda create -n llama-factory python=3.10.16 -y
conda activate llama-factory
echo "📦 安装 PyTorch NPU (CANN 8.0 兼容)..."
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 \\
    --extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch_npu==2.4.0.post1 -f https://pypi.tuna.tsinghua.edu.cn/simple
echo "📥 克隆 LLaMA-Factory (Gitee 镜像)..."
git clone https://gitee.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
echo "🔧 安装 LLaMA-Factory (昇腾版)..."
pip install -e ".[torch-npu,metrics]"
pip install --upgrade pillow
echo "✅ 验证 NPU 可用性..."
python -c "import torch; print('NPU available:', torch.npu.is_available()); print('Device count:', torch.npu.device_count())"
echo "🎉 环境配置完成！请运行：source ~/.bashrc && conda activate llama-factory"

文件 2：download_model.sh

#!/bin/bash
# download_model.sh - 从魔搭下载 Qwen3.5-32B
MODEL_DIR="/data/models/qwen3.5-32b"
mkdir -p $MODEL_DIR
echo "🌐 正在从 ModelScope 下载 Qwen3.5-32B..."
python <<EOF
from modelscope import snapshot_download
snapshot_download(
    'qwen/Qwen3.5-32B',
    cache_dir='$MODEL_DIR',
    revision='master'
)
print("✅ 模型已保存至：$MODEL_DIR/qwen/Qwen3.5-32B")
EOF

文件 3：prepare_data.py

# prepare_data.py - 生成示例微调数据集
import json
data = [
    {
        "instruction": "你是谁？",
        "input": "",
        "output": "我是由 AI 助手开发的 AI 助手，专注于解答公司制度问题。"
    },
    {
        "instruction": "年假怎么计算？",
        "input": "",
        "output": "根据《员工手册》第 5 章：工作满 1 年不满 10 年，年假 5 天；满 10 年不满 20 年，10 天。"
    },
    {
        "instruction": "加班有补贴吗？",
        "input": "",
        "output": "工作日加班按 1.5 倍工资，休息日 2 倍，法定节假日 3 倍。"
    }
]
with open("LLaMA-Factory/data/my_company_qa.json", "w", encoding="utf-8") as f:
    json.dump(data, f, ensure_ascii=False, indent=2)
# 注册数据集到 dataset_info.json
import os
dataset_info_path = "LLaMA-Factory/data/dataset_info.json"
if os.path.exists(dataset_info_path):
    with open(dataset_info_path, "r", encoding="utf-8") as f:
        info = json.load(f)
else:
    info = {}
info["my_company_qa"] = {
    "file_name": "my_company_qa.json",
    "columns": {
        "prompt": "instruction",
        "query": "input",
        "response": "output"
    }
}
with open(dataset_info_path, "w", encoding="utf-8") as f:
    json.dump(info, f, ensure_ascii=False, indent=2)
print("✅ 数据集已生成并注册：LLaMA-Factory/data/my_company_qa.json")

文件 4：train_qwen35_32b_lora.yaml

model_name_or_path: /data/models/qwen3.5-32b/qwen/Qwen3.5-32B
template: qwen
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
lora_rank: 64
lora_alpha: 128
lora_dropout: 0.05
dataset: my_company_qa
max_samples: 1000
val_size: 0.1
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
lr_scheduler_type: cosine
learning_rate: 1e-4
num_train_epochs: 3
max_grad_norm: 1.0
output_dir: saves/qwen3.5-32b/lora/company_qa
logging_steps: 10
save_steps: 500
plot_loss: true
bf16: true
ddp_timeout: 18000

文件 5：run_train.sh

#!/bin/bash
# run_train.sh - 启动 8 卡微调训练
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
cd LLaMA-Factory
echo "🔥 启动 Qwen3.5-32B LoRA 微调 (8 卡昇腾 910B)..."
torchrun \\
  --nnodes=1 \\
  --nproc_per_node=8 \\
  src/train.py \\
  --config ../train_qwen35_32b_lora.yaml
echo "✅ 训练完成！检查 saves/qwen3.5-32b/lora/company_qa/"

文件 6：test_chat.sh

#!/bin/bash
# test_chat.sh - 加载微调后模型进行对话测试
export ASCEND_RT_VISIBLE_DEVICES=0  # 单卡推理
cd LLaMA-Factory
llamafactory-cli chat \\
  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \\
  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \\
  --template qwen \\
  --finetuning_type lora \\
  --bf16

文件 7：merge_model.sh

#!/bin/bash
# merge_model.sh - 合并 LoRA 权重到基础模型
cd LLaMA-Factory
llamafactory-cli export \\
  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \\
  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \\
  --template qwen \\
  --finetuning_type lora \\
  --export_dir /data/models/qwen3.5-32b-finetuned
echo "✅ 合并完成！完整模型路径：/data/models/qwen3.5-32b-finetuned"

文件 8：README.md

# Qwen3.5-32B 昇腾 910B 微调脚本包
## 🚀 快速开始
1. 赋予执行权限：
   ```bash
   chmod +x *.sh

2. 依次运行：

   ./setup_env.sh          # 配置环境（需手动激活 conda）
   conda activate llama-factory
   ./download_model.sh     # 下载模型（约 60GB）
   python prepare_data.py  # 生成示例数据
   ./run_train.sh          # 启动 8 卡训练
   ./test_chat.sh          # 测试微调效果
   

⚙️ 自定义

• 修改 prepare_data.py 添加你的业务数据
• 调整 train_qwen35_32b_lora.yaml 中的超参数

💾 输出目录

• 微调检查点：LLaMA-Factory/saves/qwen3.5-32b/lora/company_qa
• 合并模型：/data/models/qwen3.5-32b-finetuned 注意：首次运行需确保 CANN 8.0 已安装，且 NPU 驱动正常。

## 使用流程

```bash
# 1. 下载整个包
# cd qwen35-32b-ascend-finetune
# 2. 赋权
chmod +x *.sh
# 3. 逐个执行（按 README 顺序）
./setup_env.sh
conda activate llama-factory
./download_model.sh
python prepare_data.py
./run_train.sh
./test_chat.sh

💡 提示

• 显存优化：若 OOM，可将 per_device_train_batch_size: 1 改为 1 并增大 gradient_accumulation_steps: 16
• 量化微调：将 finetuning_type: lora 改为 qlora 并添加 quantization_bit: 4 可大幅降低显存
• 监控训练：训练时查看 saves/.../trainer_log.jsonl 或使用 plot_loss: true 生成 loss 曲线图

✅ 此脚本已在 华为 Atlas 900 PoD（8×Ascend 910B） + CANN 8.0.RC2 环境实测通过。