基于 Llama Factory 与 Alpaca 数据集的中文模型微调实战

启动微调任务

运行以下命令开始训练：

python src/train_bash.py \
  --stage sft \
  --do_train \
  --model_name_or_path THUDM/chatglm3-6b \
  --dataset alpaca_gpt4_zh \
  --template chatglm3 \
  --finetuning_type lora \
  --output_dir output \
  --overwrite_cache \
  --per_device_train_batch_size 4 \
  --gradient_accumulation_steps 4 \
  --lr_scheduler_type cosine \
  --logging_steps 10 \
  --save_steps 1000 \
  --learning_rate 1e-4 \
  --num_train_epochs 3.0 \
  --fp16

关键参数调优指南

微调效果很大程度上取决于参数配置，以下是几个关键参数的建议：

注意：如果遇到 OOM（内存不足）错误，可以尝试减小 batch_size 或启用 gradient_checkpointing。

验证与部署微调后的模型

训练完成后，可以使用以下命令测试模型效果：

python src/train_bash.py \
  --stage sft \
  --do_predict \
  --model_name_or_path THUDM/chatglm3-6b \
  --adapter_name_or_path output \
  --template chatglm3 \
  --dataset alpaca_gpt4_zh \
  --output_dir output \
  --per_device_eval_batch_size 8 \
  --max_samples 100 \
  --predict_with_generate

如需部署为 API 服务，可以使用内置的 Web UI：

python src/webui.py \
  --model_name_or_path THUDM/chatglm3-6b \
  --adapter_name_or_path output \
  --template chatglm3

进阶技巧与问题排查

在实际使用中，你可能会遇到以下常见问题：

• 中文输出不流畅
  • 检查数据集质量，确保 alpaca_gpt4_zh 加载正确
  • 尝试降低学习率并增加训练轮次
• 显存不足
  • 启用 --fp16 或 --bf16 减少显存占用
  • 添加 --gradient_checkpointing 参数
• 过拟合问题
  • 使用 --eval_steps 定期验证
  • 添加 --max_steps 限制训练步数

对于希望进一步优化的开发者，可以尝试混合使用其他中文数据集，调整 LoRA 的 alpha 和 dropout 参数，或使用 QLoRA 进一步降低显存需求。

这套方案特别适合需要快速验证中文能力的场景，以及资源有限但希望获得不错效果的开发者。建议从默认参数开始，逐步调整以适应具体需求。记得训练过程中多观察 loss 曲线和验证集表现，这对参数调优很有帮助。