华为昇腾 910B 使用 LLaMA-Factory 微调 Qwen3.5-32B 模型 | 极客日志

PythonAI算法

华为昇腾 910B 使用 LLaMA-Factory 微调 Qwen3.5-32B 模型

基于 Ubuntu 20.04 与 CANN 8.0 环境，演示在华为昇腾 910B 服务器上利用 LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调。涵盖虚拟环境创建、PyTorch NPU 依赖安装、模型下载、数据集准备、多卡训练参数配置及效果验证等关键步骤。通过 bf16 精度优化显存占用，支持 8 卡分布式训练，并提供常见问题排查方案，最终实现模型权重合并与推理测试。

游戏玩家发布于 2026/4/9更新于 2026/6/417 浏览

华为昇腾 910B 使用 LLaMA-Factory 微调 Qwen3.5-32B 模型

华为昇腾 910B（Ascend 910B）上 LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调

**华为昇腾 910B（Ascend 910B）**上使用 LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调，包含环境配置、依赖安装、数据准备、训练启动、验证与推理等完整步骤。本教程基于 Ubuntu 20.04 + CANN 8.0 + MindSpore/PyTorch NPU + LLaMA-Factory v0.9.3+ 环境，适用于 8 卡昇腾 910B 服务器。

✅ 前提条件

项目	要求
硬件	华为 Atlas 800/900 服务器，8×Ascend 910B（64GB HBM）
OS	Ubuntu 20.04 LTS
驱动	CANN 8.0.RC1 或更高（已预装）
Python	3.10.x（推荐 3.10.16）
存储	≥ 2TB SSD（模型 + 数据集 + 缓存）

第一步：创建并激活虚拟环境

# 安装 Miniconda（若未安装）
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda3
source ~/.bashrc

# 创建虚拟环境
conda create -n llama-factory python=3.10.16 -y
conda activate llama-factory

第二步：安装 PyTorch NPU + CANN 兼容库

⚠️ 不要用 pip install torch！必须用华为官方 PyTorch NPU 包

# 添加清华镜像加速（可选）
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装昇腾专用 PyTorch（CANN 8.0 对应 torch-npu 2.4.0）
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 \
    --extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 torch_npu（关键！）
pip install torch_npu==2.4.0.post1 -f https://pypi.tuna.tsinghua.edu.cn/simple

# 验证 NPU 可见性
python -c "import torch; print(torch.npu.is_available()); print(torch.npu.device_count())"
# 应输出：True 和 8（或你的卡数）

第三步：安装 LLaMA-Factory（昇腾适配版）

# 克隆 LLaMA-Factory（国内推荐 Gitee 镜像）
git  https://gitee.com/hiyouga/LLaMA-Factory.git
 LLaMA-Factory


pip install -e 


pip install --upgrade pillow


llamafactory-cli

更多推荐文章

查看全部

# 安装 modelscope
pip install modelscope

# 下载模型到本地（约 60GB）
mkdir -p /data/models/qwen3.5-32b
python -c "
from modelscope import snapshot_download
snapshot_download(
    'qwen/Qwen3.5-32B',
    cache_dir='/data/models/qwen3.5-32b',
    revision='master'
)
"

[
  {
    "instruction": "你是谁？",
    "input": "",
    "output": "我是由张老师开发的 AI 助手，专注于解答公司制度问题。"
  },
  {
    "instruction": "年假怎么计算？",
    "input": "",
    "output": "根据《员工手册》第 5 章：工作满 1 年不满 10 年，年假 5 天；满 10 年不满 20 年，10 天。"
  }
]

# 编辑 dataset_info.json
nano data/dataset_info.json

"my_company_qa": {
  "file_name": "my_data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output"
  }
}

### 模型设置 ###
model_name_or_path: /data/models/qwen3.5-32b/qwen/Qwen3.5-32B
template: qwen  # Qwen 系列必须指定 template

### 训练设置 ###
stage: sft
do_train: true
finetuning_type: lora
lora_target: all  # Qwen 推荐 all（含 attention + mlp）

### LoRA 参数 ###
lora_rank: 64
lora_alpha: 128
lora_dropout: 0.05

### 数据集 ###
dataset: my_company_qa
max_samples: 1000  # 若数据少可注释此行
val_size: 0.1

### 批处理 ###
per_device_train_batch_size: 1   # 32B 模型单卡 batch_size=1
gradient_accumulation_steps: 8   # 等效 batch_size = 1*8*8 = 64
lr_scheduler_type: cosine
learning_rate: 1e-4
num_train_epochs: 3
max_grad_norm: 1.0

### 输出 ###
output_dir: saves/qwen3.5-32b/lora/company_qa
logging_steps: 10
save_steps: 500
plot_loss: true

### 硬件 ###
bf16: true        # 昇腾 910B 支持 bf16
ddp_timeout: 18000

# 设置可见 NPU（8 卡全用）
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

# 启动训练（使用 torchrun 多进程）
torchrun \
  --nnodes=1 \
  --nproc_per_node=8 \
  src/train.py \
  --config train_qwen35_32b_lora.yaml

llamafactory-cli chat \
  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \
  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \
  --template qwen \
  --finetuning_type lora \
  --infer_backend vllm  # 若安装了 vLLM-NPU（可选）
  --port 8080

export ASCEND_RT_VISIBLE_DEVICES=0  # WebUI 单卡即可
llamafactory-cli webui

llamafactory-cli export \
  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \
  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \
  --template qwen \
  --finetuning_type lora \
  --export_dir /data/models/qwen3.5-32b-finetuned

问题	解决方案
torch not compiled with npu support	重新安装 torch_npu==2.4.0.post1
显存不足 OOM	减小 per_device_train_batch_size=1，增大 gradient_accumulation_steps
tokenizer 报错	确保 template: qwen（Qwen 必须指定）
多卡通信失败	检查 ASCEND_RT_VISIBLE_DEVICES 是否包含所有卡号
模型下载慢	使用 modelscope + 国内网络

华为昇腾 910B 使用 LLaMA-Factory 微调 Qwen3.5-32B 模型

华为昇腾 910B（Ascend 910B）上 LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调

✅ 前提条件

第一步：创建并激活虚拟环境

第二步：安装 PyTorch NPU + CANN 兼容库

第三步：安装 LLaMA-Factory（昇腾适配版）

更多推荐文章

第四步：下载 Qwen3.5-32B 模型（从魔搭社区）

第五步：准备微调数据集（Alpaca 格式）

第六步：配置多卡训练参数（YAML 文件）

第七步：启动多卡微调训练

第八步：验证微调效果（Chat 测试）

第九步：合并模型（可选）

🔧 常见问题解决

✅ 总结

更多推荐文章

相关免费在线工具

华为昇腾 910B 使用 LLaMA-Factory 微调 Qwen3.5-32B 模型

华为昇腾 910B（Ascend 910B）上 LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调

✅ 前提条件

第一步：创建并激活虚拟环境

第二步：安装 PyTorch NPU + CANN 兼容库

第三步：安装 LLaMA-Factory（昇腾适配版）

微信扫一扫，关注极客日志

更多推荐文章

第四步：下载 Qwen3.5-32B 模型（从魔搭社区）

第五步：准备微调数据集（Alpaca 格式）

第六步：配置多卡训练参数（YAML 文件）

第七步：启动多卡微调训练

第八步：验证微调效果（Chat 测试）

第九步：合并模型（可选）

🔧 常见问题解决

✅ 总结

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具