Qwen2.5 PyTorch 模型微调入门实战

4 模型推理

完成环境搭建后，可使用 openMind Library 或 LLaMA-Factory 进行模型推理测试。

4.1 使用 openMind Library 推理

新建推理脚本 inference_qwen2.5_7b_chat.py，内容如下：

import argparse
from openmind import AutoModelForCausalLM, AutoTokenizer
from openmind_hub import snapshot_download

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default=None,
    )
    args = parser.parse_args()
    return args

def main():
    args = parse_args()
    if args.model_name_or_path:
        model_path = args.model_name_or_path
    else:
        # 自动下载模型权重
        model_path = snapshot_download("AI-Research/Qwen2.5-7B-Instruct", revision="main", resume_download=True,
                                    ignore_patterns=[" .h5", " .ot", "*.mspack"])

    model = AutoModelForCausalLM.from_pretrained(
        model_path,
        torch_dtype="auto",
        device_map="auto"
    )
    tokenizer = AutoTokenizer.from_pretrained(model_path)

    prompt = '你是谁'
    messages = [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": prompt}
    ]
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

    generated_ids = model.generate(
        **model_inputs,
        max_new_tokens=512
    )
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]

    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
    print(response)

if __name__ == "__main__":
    main()

执行命令：

python inference_qwen2.5_7b_chat.py

4.2 使用 LLaMA-Factory 交互

在 LLaMA-Factory 路径下创建配置文件 examples/inference/qwen2.5_7b_chat.yaml：

model_name_or_path: xxx # 填写本地加载的 Qwen2.5-7B-Instruct 权重路径
template: qwen

运行交互命令：

llamafactory-cli chat examples/inference/qwen2.5_7b_chat.yaml

5 模型微调

本节介绍如何使用 LLaMA-Factory 对 Qwen2.5 进行 LoRA 微调。

5.1 数据集准备

本示例使用 LLaMA-Factory 集成的 identity 数据集，该数据集主要用于让模型学习自我身份描述，适合微调入门验证。

5.2 微调配置详解

新建微调配置文件 examples/train_lora/qwen2.5_7b_lora_sft.yaml，关键参数说明如下：

### model
model_name_or_path: xxx/xxx  # 预训练模型本地路径

### method
stage: sft                 # 监督微调阶段
do_train: true             # 开启训练
finetuning_type: lora      # 使用 LoRA 高效微调
lora_target: all           # 对所有线性层应用 LoRA

### dataset
dataset: identity          # 数据集名称
template: qwen             # 模板类型
cutoff_len: 1024           # 最大截断长度
max_samples: 1000          # 样本数量限制
overwrite_cache: true      # 覆盖缓存
preprocessing_num_workers: 16 # 预处理进程数

### output
output_dir: ./saves/qwen2.5_7b/lora/sft
logging_steps: 10
save_steps: 500
plot_loss: true            # 绘制 Loss 曲线
overwrite_output_dir: true

### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 8   # 梯度累积，等效 batch_size 为 8
learning_rate: 1.0e-4
num_train_epochs: 10.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true                     # 使用 bf16 混合精度加速
ddp_timeout: 180000000

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

启动训练命令：

llamafactory-cli train examples/train_lora/qwen2.5_7b_lora_sft.yaml

5.3 微调可视化

训练过程中会自动生成 Loss 曲线图，保存于输出目录中，用于监控训练收敛情况。

5.4 微调后推理

5.4.1 加载适配器

修改推理配置文件 examples/inference/qwen2.5_7b_chat.yaml，增加 adapter 路径：

model_name_or_path: xxx # 基础模型路径
adapter_name_or_path: ./saves/qwen2.5_7b/lora/sft # 微调后的 LoRA 权重路径
template: qwen

5.4.2 执行推理

llamafactory-cli chat examples/inference/qwen2.5_7b_chat.yaml

此时模型将结合微调后的知识进行回答。

6 常见问题与优化建议

6.1 显存溢出处理

若遇到 OOM (Out Of Memory) 错误，可尝试以下调整：

1. 减小 cutoff_len 至 512 或更低。
2. 减小 per_device_train_batch_size。
3. 增大 gradient_accumulation_steps 以保持总 Batch Size 不变。
4. 确保开启 bf16: true 以节省显存。

6.2 训练速度优化

1. 启用 Flash Attention 2（如果硬件支持）。
2. 增加 preprocessing_num_workers 加快数据加载。
3. 检查 NPU 驱动状态，确保算力资源未被占用。

6.3 评估指标

除了观察 Loss 下降趋势外，建议在验证集上定期评估模型的 perplexity (困惑度)。LoRA 微调通常能保持基座模型的大部分能力，同时注入特定领域的指令遵循能力。

7 结语

通过上述步骤，我们完成了 Qwen2.5 模型在 Ascend NPU 环境下的环境搭建、推理测试及 LoRA 微调全流程。利用 LLaMA-Factory 工具链，开发者可以高效地定制专属大模型，无需从零开始训练。希望本指南能帮助开发者快速上手，在实际业务场景中发挥大模型的价值。