手把手教你从零微调大模型

该配置文件包含微调的关键参数，以下是详细的参数说明及修改建议：

### model
model_name_or_path: ../Yi-1.5-6B-Chat
quantization_bit: 4

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### dataset
dataset: identity
template: yi
cutoff_len: 1024
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: saves/yi-6b/lora/sft
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

关键参数解析：

1. model_name_or_path: 指定下载的模型路径，需确保路径正确。
2. quantization_bit: 设置为 4 表示使用 4-bit 量化，可显著降低显存占用。
3. stage: 设置为 sft 表示监督微调（Supervised Fine-Tuning）。
4. finetuning_type: 设置为 lora 表示使用 LoRA 适配器技术。
5. dataset: 默认使用 identity 数据集，用于测试自我认知能力。你可以通过修改 data/identity.json 文件中的 {{name}} 字段来定义模型的新身份。
6. cutoff_len: 上下文长度限制，根据显存情况调整。
7. learning_rate: 学习率，LoRA 微调通常较小，如 1e-4。
8. gradient_accumulation_steps: 梯度累积步数，用于模拟更大的 Batch Size。
9. bf16: 启用 BF16 混合精度训练，提升速度并节省显存。

保存配置文件后，回到终端 Terminal，在 LLaMA-Factory 目录下输入以下命令启动微调：

llamafactory-cli train examples/train_qlora/yi_lora_sft_bitsandbytes.yaml

执行训练

运行命令后，系统将开始加载模型并进行训练。进度条显示训练状态，整个过程大约需要 10 分钟（视硬件性能而定）。当看到训练结束提示时，表示微调完成。

推理测试

微调后的模型效果如何？我们需要通过推理测试来验证。

参考 examples/inference 下的 llama3_lora_sft.yaml，复制一份并重命名为 yi_lora_sft.yaml，内容修改如下：

model_name_or_path: ../Yi-1.5-6B-Chat
adapter_name_or_path: saves/yi-6b/lora/sft
template: yi
finetuning_type: lora

保存后，在终端运行推理命令：

llamafactory-cli chat examples/inference/yi_lora_sft.yaml

等待模型加载完成后，即可开始对话。此时模型应已具备你在配置文件中设定的新身份认知，同时保持通用对话能力。

为了对比效果，可以再次修改配置文件为原始模型配置（去掉 adapter_name_or_path），重新运行推理命令，观察未微调前的回答差异。

常见问题与优化

在实际微调过程中，可能会遇到以下问题：

1. 显存不足 (OOM)：

   • 尝试减小 per_device_train_batch_size。
   • 增加 gradient_accumulation_steps。
   • 检查是否开启了 bf16 或 fp16。
   • 考虑使用更小的 cutoff_len。

2. 训练速度慢：

   • 确保使用了正确的 GPU 驱动和 CUDA 版本。
   • 检查 preprocessing_num_workers 是否设置合理。
   • 如果数据量过大，可适当减少 max_samples。

3. 模型不收敛：

   • 调整 learning_rate，过大的学习率可能导致震荡。
   • 检查数据集格式是否符合要求，特别是指令模板部分。

4. 超时错误：

   • 在云端环境中，注意会话超时设置，必要时延长 Timeout 时间。

总结

通过上述步骤，你已经完成了从零开始的大模型微调全流程。包括环境搭建、依赖安装、模型下载、参数配置、训练执行以及推理验证。

微调大模型不仅是技术的实践，更是对模型行为控制能力的探索。通过调整数据集和参数，你可以让模型适应不同的应用场景，如客服助手、垂直领域专家或个性化角色。希望本文能为你开启大模型应用开发的大门。

后续你可以尝试更换数据集，微调出真正服务于业务场景的专属模型。