1. LlamaFactory 微调入门：从零开始配置关键参数
初次使用 LlamaFactory 进行模型微调时，参数配置往往较为复杂。本文将梳理关键参数的含义与配置策略，帮助开发者快速上手。
先来看一个基础配置示例，这是经过验证的稳定组合：
llamafactory-cli train \\
--stage sft \\
--model_name_or_path /path/to/Llama3-8B \\
--finetuning_type lora \\
--lora_rank 8 \\
--lora_alpha 16 \\
--cutoff_len 1024 \\
--per_device_train_batch_size 4 \\
--gradient_accumulation_steps 8 \\
--learning_rate 5e-5
这里有几个新手容易忽略的细节：
gradient_accumulation_steps实际效果相当于放大 batch size，在显存不足时特别有用lora_alpha与lora_rank需要保持比例关系，通常建议 alpha 是 rank 的 2 倍cutoff_len设置过小会导致长文本信息丢失，但过大会显著增加显存消耗
数据处理参数是另一个需要特别注意的领域。若遇到模型无法处理长文本推理的问题，可能是 preprocessing_num_workers 设置过低导致文本截断异常。建议根据 CPU 核心数合理配置。
