LlamaFactory 微调实战：关键参数配置与性能优化指南

1. LlamaFactory 微调入门：从零开始配置关键参数

初次使用 LlamaFactory 进行模型微调时，参数配置往往较为复杂。本文将梳理关键参数的含义与配置策略，帮助开发者快速上手。

先来看一个基础配置示例，这是经过验证的稳定组合：

llamafactory-cli train \\
  --stage sft \\
  --model_name_or_path /path/to/Llama3-8B \\
  --finetuning_type lora \\
  --lora_rank 8 \\
  --lora_alpha 16 \\
  --cutoff_len 1024 \\
  --per_device_train_batch_size 4 \\
  --gradient_accumulation_steps 8 \\
  --learning_rate 5e-5

这里有几个新手容易忽略的细节：

• gradient_accumulation_steps 实际效果相当于放大 batch size，在显存不足时特别有用
• lora_alpha 与 lora_rank 需要保持比例关系，通常建议 alpha 是 rank 的 2 倍
• cutoff_len 设置过小会导致长文本信息丢失，但过大会显著增加显存消耗

数据处理参数是另一个需要特别注意的领域。若遇到模型无法处理长文本推理的问题，可能是 preprocessing_num_workers 设置过低导致文本截断异常。建议根据 CPU 核心数合理配置。