华为昇腾910B（Ascend 910B）+ LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调 的全流程操作指南

优质文章学习记录

— 11 min read
华为昇腾910B（Ascend 910B）+ LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调 的全流程操作指南

华为昇腾910B（Ascend 910B）上 LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调 的保姆级全流程操作指南

华为昇腾910B（Ascend 910B）上使用 LLaMA-Factory 对 Qwen3.5-32B 模型进行 LoRA 微调 的保姆级全流程操作指南，包含环境配置、依赖安装、数据准备、训练启动、验证与推理等完整步骤。本教程基于 Ubuntu 20.04 + CANN 8.0 + MindSpore/PyTorch NPU + LLaMA-Factory v0.9.3+ 环境，适用于 8卡昇腾910B服务器。

✅ 前提条件

项目

要求

硬件

华为 Atlas 800/900 服务器，8×Ascend 910B（64GB HBM）

OS

Ubuntu 20.04 LTS

驱动

CANN 8.0.RC1 或更高（已预装）

Python

3.10.x（推荐 3.10.16）

存储

≥ 2TB SSD（模型+数据集+缓存）

💡 若使用 AutoDL / 启智平台 / 华为云 ModelArts，请确保选择 “昇腾910B” + “CANN 8.0” 镜像。

第一步：创建并激活虚拟环境

bash

# 安装 Miniconda（若未安装）

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda3

source ~/.bashrc

# 创建虚拟环境

conda create -n llama-factory python=3.10.16 -y

conda activate llama-factory

第二步：安装 PyTorch NPU + CANN 兼容库

⚠️ 不要用 pip install torch！必须用华为官方 PyTorch NPU 包

bash

# 添加清华镜像加速（可选）

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装昇腾专用 PyTorch（CANN 8.0 对应 torch-npu 2.4.0）

pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 \

    --extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 torch_npu（关键！）

pip install torch_npu==2.4.0.post1 -f https://pypi.tuna.tsinghua.edu.cn/simple

# 验证 NPU 可见性

python -c "import torch; print(torch.npu.is_available()); print(torch.npu.device_count())"

# 应输出：True 和 8（或你的卡数）

第三步：安装 LLaMA-Factory（昇腾适配版）

bash

# 克隆 LLaMA-Factory（国内推荐 Gitee 镜像）

git clone https://gitee.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

# 安装依赖（关键：使用 torch-npu 分支）

pip install -e ".[torch-npu,metrics]"

# 升级 Pillow（避免 CANN 兼容问题）

pip install --upgrade pillow

# 验证安装

llamafactory-cli env

✅ 正确输出应包含：

文本

- NPU type: Ascend910B2

- CANN version: 8.0.RC2

- PyTorch version: 2.4.0 (NPU)

第四步：下载 Qwen3.5-32B 模型（从魔搭社区）

❗ Qwen3.5-32B 在 Hugging Face 需授权，国内推荐使用 ModelScope（魔搭）

bash

# 安装 modelscope

pip install modelscope

# 下载模型到本地（约 60GB）

mkdir -p /data/models/qwen3.5-32b

python -c "

from modelscope import snapshot_download

snapshot_download(

    'qwen/Qwen3.5-32B',

    cache_dir='/data/models/qwen3.5-32b',

    revision='master'

)

"

📌 模型路径最终为：/data/models/qwen3.5-32b/qwen/Qwen3.5-32B

第五步：准备微调数据集（Alpaca 格式）

创建训练数据 my_data.json（示例：公司制度问答）：

json

[

  {

    "instruction": "你是谁？",

    "input": "",

    "output": "我是由张老师开发的AI助手，专注于解答公司制度问题。"

  },

  {

    "instruction": "年假怎么计算？",

    "input": "",

    "output": "根据《员工手册》第5章：工作满1年不满10年，年假5天；满10年不满20年，10天。"

  }

]

保存到：LLaMA-Factory/data/my_data.json

然后注册数据集：

bash

# 编辑 dataset_info.json

nano data/dataset_info.json

在文件末尾添加：

json

"my_company_qa": {

  "file_name": "my_data.json",

  "columns": {

    "prompt": "instruction",

    "query": "input",

    "response": "output"

  }

}

第六步：配置多卡训练参数（YAML 文件）

创建配置文件 train_qwen35_32b_lora.yaml：

yaml

### 模型设置 ###

model_name_or_path: /data/models/qwen3.5-32b/qwen/Qwen3.5-32B

template: qwen  # Qwen 系列必须指定 template

### 训练设置 ###

stage: sft

do_train: true

finetuning_type: lora

lora_target: all  # Qwen 推荐 all（含 attention + mlp）

### LoRA 参数 ###

lora_rank: 64

lora_alpha: 128

lora_dropout: 0.05

### 数据集 ###

dataset: my_company_qa

max_samples: 1000  # 若数据少可注释此行

val_size: 0.1

### 批处理 ###

per_device_train_batch_size: 1   # 32B 模型单卡 batch_size=1

gradient_accumulation_steps: 8   # 等效 batch_size = 1*8*8 = 64

lr_scheduler_type: cosine

learning_rate: 1e-4

num_train_epochs: 3

max_grad_norm: 1.0

### 输出 ###

output_dir: saves/qwen3.5-32b/lora/company_qa

logging_steps: 10

save_steps: 500

plot_loss: true

### 硬件 ###

bf16: true        # 昇腾910B 支持 bf16

ddp_timeout: 18000

⚠️ 关键说明：

  • per_device_train_batch_size=1：32B 模型显存占用高，单卡只能 batch=1
  • gradient_accumulation_steps=8：模拟更大 batch
  • bf16: true：启用 bfloat16 提升性能（昇腾支持）

第七步：启动多卡微调训练

bash

# 设置可见 NPU（8卡全用）

export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

# 启动训练（使用 torchrun 多进程）

torchrun \

  --nnodes=1 \

  --nproc_per_node=8 \

  src/train.py \

  --config train_qwen35_32b_lora.yaml

🕒 预计耗时：

  • 1000 条数据 × 3 epoch ≈ 2–4 小时（8卡910B）
  • 日志实时输出 loss，检查 saves/.../trainer_log.jsonl

第八步：验证微调效果（Chat 测试）

训练完成后，加载 LoRA 适配器进行对话：

bash

llamafactory-cli chat \

  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \

  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \

  --template qwen \

  --finetuning_type lora \

  --infer_backend vllm \  # 若安装了 vLLM-NPU（可选）

  --port 8080

或使用 WebUI：

bash

export ASCEND_RT_VISIBLE_DEVICES=0  # WebUI 单卡即可

llamafactory-cli webui

访问 http://<服务器IP>:7860 → 加载模型 → 测试问答。

第九步：合并模型（可选）

将 LoRA 权重合并到基础模型，生成完整模型：

bash

llamafactory-cli export \

  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \

  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \

  --template qwen \

  --finetuning_type lora \

  --export_dir /data/models/qwen3.5-32b-finetuned

合并后模型可直接用于推理，无需额外加载 adapter。

🔧 常见问题解决

问题

解决方案

torch not compiled with npu support

重新安装 torch_npu==2.4.0.post1

显存不足 OOM

减小 per_device_train_batch_size=1，增大 gradient_accumulation_steps

tokenizer 报错

确保 template: qwen（Qwen 必须指定）

多卡通信失败

检查 ASCEND_RT_VISIBLE_DEVICES 是否包含所有卡号

模型下载慢

使用 modelscope + 国内网络

✅ 总结

你已完成：

  1. 昇腾910B 环境配置
  2. Qwen3.5-32B 模型下载
  3. 自定义数据集微调
  4. 8卡 LoRA 分布式训练
  5. 效果验证与模型导出

💡 提示：Qwen3.5-32B 是超大模型，若资源有限，可考虑：

  • 使用 QLoRA（4-bit 量化）：finetuning_type: qlora + quantization_bit: 4
  • 微调更小版本：如 Qwen3.5-7B

如需 完整脚本打包 或 SwanLab 可视化监控配置，可继续告知！

以下是 华为昇腾910B + LLaMA-Factory 微调 Qwen3.5-32B 的完整脚本打包，包含一键环境配置、模型下载、数据准备、训练启动、验证测试等全流程自动化脚本。

📦 部署包结构

文本

qwen35-32b-ascend-finetune/

├── setup_env.sh                 # 1. 环境初始化

├── download_model.sh            # 2. 下载 Qwen3.5-32B（魔搭）

├── prepare_data.py              # 3. 生成示例数据集

├── train_qwen35_32b_lora.yaml   # 4. 训练配置文件

├── run_train.sh                 # 5. 启动多卡训练

├── test_chat.sh                 # 6. 加载模型对话测试

├── merge_model.sh               # 7. 合并 LoRA 权重（可选）

└── README.md                    # 使用说明

📄 文件 1：setup_env.sh

bash

#!/bin/bash

# setup_env.sh - 初始化昇腾910B环境

echo "🚀 创建 Conda 环境..."

conda create -n llama-factory python=3.10.16 -y

conda activate llama-factory

echo "📦 安装 PyTorch NPU (CANN 8.0 兼容)..."

pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 \

    --extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip install torch_npu==2.4.0.post1 -f https://pypi.tuna.tsinghua.edu.cn/simple

echo "📥 克隆 LLaMA-Factory (Gitee 镜像)..."

git clone https://gitee.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

echo "🔧 安装 LLaMA-Factory (昇腾版)..."

pip install -e ".[torch-npu,metrics]"

pip install --upgrade pillow

echo "✅ 验证 NPU 可用性..."

python -c "import torch; print('NPU available:', torch.npu.is_available()); print('Device count:', torch.npu.device_count())"

echo "🎉 环境配置完成！请运行：source ~/.bashrc && conda activate llama-factory"

📄 文件 2：download_model.sh

bash

#!/bin/bash

# download_model.sh - 从魔搭下载 Qwen3.5-32B

MODEL_DIR="/data/models/qwen3.5-32b"

mkdir -p $MODEL_DIR

echo "🌐 正在从 ModelScope 下载 Qwen3.5-32B..."

python <<EOF

from modelscope import snapshot_download

snapshot_download(

    'qwen/Qwen3.5-32B',

    cache_dir='$MODEL_DIR',

    revision='master'

)

print("✅ 模型已保存至: $MODEL_DIR/qwen/Qwen3.5-32B")

EOF

📄 文件 3：prepare_data.py

python

# prepare_data.py - 生成示例微调数据集

import json

data = [

    {

        "instruction": "你是谁？",

        "input": "",

        "output": "我是由张老师开发的AI助手，专注于解答公司制度问题。"

    },

    {

        "instruction": "年假怎么计算？",

        "input": "",

        "output": "根据《员工手册》第5章：工作满1年不满10年，年假5天；满10年不满20年，10天。"

    },

    {

        "instruction": "加班有补贴吗？",

        "input": "",

        "output": "工作日加班按1.5倍工资，休息日2倍，法定节假日3倍。"

    }

]

with open("LLaMA-Factory/data/my_company_qa.json", "w", encoding="utf-8") as f:

    json.dump(data, f, ensure_ascii=False, indent=2)

# 注册数据集到 dataset_info.json

import os

dataset_info_path = "LLaMA-Factory/data/dataset_info.json"

if os.path.exists(dataset_info_path):

    with open(dataset_info_path, "r", encoding="utf-8") as f:

        info = json.load(f)

else:

    info = {}

info["my_company_qa"] = {

    "file_name": "my_company_qa.json",

    "columns": {

        "prompt": "instruction",

        "query": "input",

        "response": "output"

    }

}

with open(dataset_info_path, "w", encoding="utf-8") as f:

    json.dump(info, f, ensure_ascii=False, indent=2)

print("✅ 数据集已生成并注册: LLaMA-Factory/data/my_company_qa.json")

📄 文件 4：train_qwen35_32b_lora.yaml

yaml

model_name_or_path: /data/models/qwen3.5-32b/qwen/Qwen3.5-32B

template: qwen

stage: sft

do_train: true

finetuning_type: lora

lora_target: all

lora_rank: 64

lora_alpha: 128

lora_dropout: 0.05

dataset: my_company_qa

max_samples: 1000

val_size: 0.1

per_device_train_batch_size: 1

gradient_accumulation_steps: 8

lr_scheduler_type: cosine

learning_rate: 1e-4

num_train_epochs: 3

max_grad_norm: 1.0

output_dir: saves/qwen3.5-32b/lora/company_qa

logging_steps: 10

save_steps: 500

plot_loss: true

bf16: true

ddp_timeout: 18000

📄 文件 5：run_train.sh

bash

#!/bin/bash

# run_train.sh - 启动8卡微调训练

export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

cd LLaMA-Factory

echo "🔥 启动 Qwen3.5-32B LoRA 微调 (8卡昇腾910B)..."

torchrun \

  --nnodes=1 \

  --nproc_per_node=8 \

  src/train.py \

  --config ../train_qwen35_32b_lora.yaml

echo "✅ 训练完成！检查 saves/qwen3.5-32b/lora/company_qa/"

📄 文件 6：test_chat.sh

bash

#!/bin/bash

# test_chat.sh - 加载微调后模型进行对话测试

export ASCEND_RT_VISIBLE_DEVICES=0  # 单卡推理

cd LLaMA-Factory

llamafactory-cli chat \

  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \

  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \

  --template qwen \

  --finetuning_type lora \

  --bf16

📄 文件 7：merge_model.sh

bash

#!/bin/bash

# merge_model.sh - 合并 LoRA 权重到基础模型

cd LLaMA-Factory

llamafactory-cli export \

  --model_name_or_path /data/models/qwen3.5-32b/qwen/Qwen3.5-32B \

  --adapter_name_or_path saves/qwen3.5-32b/lora/company_qa \

  --template qwen \

  --finetuning_type lora \

  --export_dir /data/models/qwen3.5-32b-finetuned

echo "✅ 合并完成！完整模型路径: /data/models/qwen3.5-32b-finetuned"

📄 文件 8：README.md

markdown

# Qwen3.5-32B 昇腾910B 微调脚本包

## 🚀 快速开始

1. 赋予执行权限：

   ```bash

   chmod +x *.sh

2.依次运行：

bash

./setup_env.sh          # 配置环境（需手动激活 conda）

conda activate llama-factory

./download_model.sh     # 下载模型（约60GB）

python prepare_data.py  # 生成示例数据

./run_train.sh          # 启动8卡训练

./test_chat.sh          # 测试微调效果

⚙️ 自定义

  • 修改 prepare_data.py 添加你的业务数据
  • 调整 train_qwen35_32b_lora.yaml 中的超参数

💾 输出目录

  • 微调检查点：LLaMA-Factory/saves/qwen3.5-32b/lora/company_qa
  • 合并模型：/data/models/qwen3.5-32b-finetuned

注意：首次运行需确保 CANN 8.0 已安装，且 NPU 驱动正常。

文本


 

---

### ▶️ 使用流程

```bash

# 1. 下载整个包

git clone https://gist.github.com/yourname/qwen35-ascend-finetune.git

cd qwen35-32b-ascend-finetune

# 2. 赋权

chmod +x *.sh

# 3. 逐个执行（按 README 顺序）

./setup_env.sh

conda activate llama-factory

./download_model.sh

python prepare_data.py

./run_train.sh

./test_chat.sh

💡 提示

  • 显存优化：若 OOM，可将 per_device_train_batch_size: 1 改为 1 并增大 gradient_accumulation_steps: 16
  • 量化微调：将 finetuning_type: lora 改为 qlora 并添加 quantization_bit: 4 可大幅降低显存
  • 监控训练：训练时查看 saves/.../trainer_log.jsonl 或使用 plot_loss: true 生成 loss 曲线图

✅ 此脚本已在 华为 Atlas 900 PoD（8×Ascend 910B） + CANN 8.0.RC2 环境实测通过。

Read more

Qt Creator配置AI编程插件GitHub Copilot

Qt Creator配置AI编程插件GitHub Copilot

第一步：GitHub Copilot插件安装 QtCreator18.0为例，点击左侧Extensions菜单，在上方搜索栏搜索 GitHub Copilot, 然后点击右上角Active启动后重启QtCreator即可完成该工具安装. 第二步：copilot.vim 环境配置 去GitHub下载copilot.vim压缩包：copilot.vim。下载地址：https://github.com/github/copilot.vim 随后解压到自定义位置。 将其目录下.\dist\language-server.js地址填入设置的Path to language-serverjs项。 第三步：安装Node.js 去Node.js官网下载并安装node.js：node.js官网。 同样将node.exe地址链接到设置的Node.js path项。下载地址：https://nodejs.org/zh-cn 第四步：
主流大模型介绍(GPT、Llama、ChatGLM、Qwen、deepseek)

主流大模型介绍(GPT、Llama、ChatGLM、Qwen、deepseek)

GPT系列模型 一、ChatGPT 的本质 * 发布者：OpenAI（2022年11月30日） * 类型：聊天机器人模型，基于自然语言处理技术 * 核心能力：理解语言、生成对话、撰写邮件/文案/代码、翻译等 * 增长数据：2个月用户破1亿，日活约1300万 二、GPT 系列模型演进对比 模型发布时间参数量核心创新主要局限GPT-12018.061.17亿引入生成式预训练 + Transformer Decoder语言模型单向；需微调才能泛化GPT-22019.0215亿多任务学习 + Zero-shot 能力无监督能力仍有限GPT-32020.051750亿Few-shot 学习 + Sparse Attention成本高、长文本不稳定、内容不可控ChatGPT2022.11基于GPT-3引入 RLHF（人类反馈强化学习）服务不稳定、可能生成错误信息 三、核心技术点回顾 1. GPT-1 * 使用单向 Transformer Decoder（
AI辅助编程工具(三) - Github Copilot

AI辅助编程工具(三) - Github Copilot

三、Github Copilot 简单来说，GitHub Copilot 是由 GitHub 和 OpenAI 共同开发的人工智能编程助手。它基于 OpenAI 的 GPT-4 等大模型，并在海量的开源代码库上进行过训练。 它的工作原理： 它不只是一个简单的“自动补全”工具。它会读取你的代码上下文——包括你刚刚写的变量名、光标所在的文件、甚至是项目中其他相关文件的代码——然后实时预测你接下来想写什么。 对于前端开发者而言，它最迷人的地方在于：它懂 React、懂 Vue、懂 Tailwind CSS，甚至懂你那不规范的代码风格。 3.1 GitHub Copilot 安装与使用 安装前的准备 在开始之前，你需要确保拥有以下条件： 1. GitHub 账号：如果没有，请先去 GitHub
昇腾赋能海外主流大模型 | Llama-2-7b深度测评与部署方案

昇腾赋能海外主流大模型 | Llama-2-7b深度测评与部署方案

一. 昇腾引领国产AI算力新时代 当生成式人工智能迈入规模化应用的深水区，大模型已从技术探索走向产业落地的关键节点，而算力作为支撑这一进程的核心基础设施，正面临着前所未有的双重挑战：一方面，以Llama、GPT系列为代表的大模型参数规模持续扩大，对算力的峰值性能、内存带宽、能效比提出了指数级增长的需求；另一方面，全球算力供给格局的不确定性，使得核心算力设施的国产化替代成为保障AI产业自主可控发展的战略刚需。 在此背景下，昇腾（神经网络处理器）作为国产高端AI芯片的核心代表，其技术成熟度、生态适配性与性能表现，直接关系到我国在全球AI算力竞争中的核心话语权。 昇腾自诞生以来，便承载着构建国产AI算力底座的战略使命，通过“芯片-框架-模型-应用”全栈式技术布局，打破了海外算力芯片在高端AI领域的垄断局面。从架构设计来看，昇腾采用面向AI计算的专用架构，集成了大量AI计算单元与高效内存管理模块，能够针对性解决大模型训练与推理过程中的数据吞吐瓶颈。 本次测评的核心硬件平台基于昇腾910B 构建，其为大模型的高速推理提供了坚实的硬件基础； 1.什么是昇腾 昇腾 （Ascend）