使用 LLaMA-Factory 开启你的第一个大模型微调任务

一旦参数调优确定，建议使用脚本运行，更稳定且方便记录。

llamafactory-cli train \
--stage sft \
--do_train \
--model_name_or_path /path/to/your/model \
--dataset my_security_data \
--template qwen \
--finetuning_type lora \
--output_dir ./saves/security_agent_v1 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 100 \
--learning_rate 5e-5 \
--num_train_epochs 3.0 \
--plot_loss \
--fp16

关键指标：如何看懂 Loss 曲线

在训练过程中，你会看到一个不断下降的 Loss（损失值）曲线。

• 理想曲线：平稳下降，最后在某个数值（如 0.5 - 1.2 之间）开始横向震荡。
• 警报曲线：Loss 突然降到 0（过拟合，模型只会背书）或者 Loss 突然飙升（梯度爆炸，模型疯了）。

对策：如果 Loss 不降，调大 learning_rate；如果 Loss 波动太大，调小 learning_rate 并增大 batch_size。

常见问题处理：显存溢出的解决方案

如果你运行报错 OutOfMemoryError：

1. 开启量化：使用 --quantization_bit 4。
2. 降低长度：将 --cutoff_len 从 1024 降到 512。
3. 梯度检查点：确保开启了 --gradient_checkpointing。