通义千问 Qwen-14B 模型微调实战与经验总结

2. 选择基础模型

这里选用了通义千问 Qwen-14B 模型，可以通过 Hugging Face 或魔塔社区进行下载。

3. 进行微调训练

微调的数据和模型准备好之后，就可以开始执行微调。使用 DeepSpeed 加速训练，命令如下：

# $DATA 为数据路径
# $MODEL 为模型路径
deepspeed finetune_merge.py  \
    --report_to "none" \
    --data_path $DATA \
    --lazy_preprocess False \
    --model_name_or_path $MODEL \
    --output_dir /hboxdir/output \
    --model_max_length 2048 \
    --num_train_epochs 24 \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 1 \
    --save_strategy epoch \
    --save_total_limit 2 \
    --learning_rate 1e-5 \
    --lr_scheduler_type "cosine" \
    --adam_beta1 0.9 \
    --adam_beta2 0.95 \
    --adam_epsilon 1e-8 \
    --max_grad_norm 1.0 \
    --weight_decay 0.1 \
    --warmup_ratio 0.01 \
    --logging_steps 1 \
    --gradient_checkpointing True \
    --deepspeed "ds_config_zero3.json" \
    --bf16 True \
    --tf32 True

以下是针对 DeepSpeed 的参数说明，可根据具体情况进行相应参数的修改：

• 与数据相关的参数：

  • data_path: 数据路径，HuggingFace 数据库，比如：Dahoas/rm-static
  • data_split: 数据的拆分方式，比如 2,4,4 是为 step1, 2, 3 分配的数据比例
  • max_seq_len: 最大序列长度（超过长度会被截掉）
  • data_output_path: 相关数据的存储地址（local storage，不能是 shared storage）

• 与模型相关的参数：

  • model_name_or_path: 模型名称或路径，HuggingFace 模型，比如：facebook/opt-1.3b
  • lora_dim: 如果大于 0，则使用 LoRA 优化
  • lora_module_name: 设置 LoRA 的范围，比如可以只针对 decoder.layers
  • only_optimize_lora: 是否只优化 LoRA 的参数

• 与训练相关的参数：

  • per_device_train_batch_size: 训练时的 Batch size (per device：每个 GPU 的 Size)
  • per_device_eval_batch_size: 评价时的 Batch size (per device)
  • learning_rate: 学习率
  • weight_decay: 权重衰减，防止模型过拟合的技术
  • num_train_epochs: 训练 epoch 数
  • gradient_accumulation_steps: 累积多少个 mini-batch 的梯度后再进行一次参数更新
  • lr_scheduler_type: learning rate 的调整策略，比如 linear, cosine

• DeepSpeed 配置：

  • zero_stage: 对应 DeepSpeed 工具中的 zero 方式，分别是 0, 1, 2, 3
  • offload: ZeRO-Offload 通过利用主机 CPU 上的计算和内存资源来执行优化器，从而减少此类模型的 GPU 计算和内存需求
  • local_rank: 分布式训练时的一个变量，用于标识当前 GPU 设备的本地排名
  • gradient_checkpointing: 降低深度学习模型训练过程中内存消耗的技术

• 其他：

  • seed: 随机排序的 seed
  • output_dir: 模型的存储目录

4. 测试模型效果

可以使用官方提供的测试代码进行验证：

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

# 模型路径
model_dir="/models/qwen-14b"

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True).eval()

inputs = tokenizer('你好啊，介绍下你自己', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

# 输出示例：您好，我是小智，很高兴为您服务。有什么我可以帮您解决的问题或者需要我提供的帮助吗？

5. 部署模型（FastChat）

启动 Controller：

python -m fastchat.serve.controller --host 0.0.0.0 --port 21001

启动模型服务：

# /models/qwen-14b 为模型路径
python -m fastchat.serve.model_worker --model-path /models/qwen-14b/ --host 0.0.0.0

启动 RESTful API 服务：

python -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000

使用 OpenAI 官方 SDK 测试效果：

import openai
openai.api_key = "EMPTY"
openai.api_base = "http://localhost:8000/v1"

# 这里指定微调的模型名字，也就是保存模型文件的文件夹名称
model = "qwen-14b"

# create a chat completion
completion = openai.ChatCompletion.create(
  model=model,
  messages=[{"role": "user", "content": "你是谁"}]
)
# print the completion
print(completion.choices[0].message.content)

# 输出示例：您好，我是小智，很高兴为您服务。有什么我可以帮您解决的问题或者需要我提供的帮助吗？

六、常见问题与优化建议

在微调过程中，可能会遇到显存不足、训练不收敛等问题，以下是一些优化建议：

1. 显存优化：

   • 使用 gradient_checkpointing 技术，用时间换空间，显著降低显存占用。
   • 启用 bf16 混合精度训练，相比 fp16 更稳定且能节省显存。
   • 使用 DeepSpeed ZeRO-3 阶段，将模型分片存储在多个 GPU 上。

2. 学习率调整：

   • 初始学习率通常设置在 1e-5 到 5e-5 之间，过大可能导致发散，过小导致收敛慢。
   • 使用 Cosine 调度器配合 Warmup，有助于模型平稳过渡。

3. 数据质量：

   • 确保对话数据格式严格符合 conversations 结构。
   • 去除重复数据，避免模型过拟合特定样本。
   • 增加多样性，覆盖更多用户提问方式。

4. LoRA 微调：

   • 对于资源受限的场景，推荐使用 LoRA 技术，仅训练少量参数，大幅降低显存需求。
   • 设置 lora_dim 参数，一般设置为 64 或 128 即可取得较好效果。

七、总结

通过对 Qwen-14B 的微调实践，我们可以发现，微调不仅是技术的实现，更是对业务场景理解的深化。合理的参数配置、高质量的数据准备以及稳定的部署环境是成功的关键。未来，随着大模型技术的演进，微调将更加便捷高效，成为企业构建专属 AI 能力的核心手段。