大模型微调技术对比：PEFT 原生实现与 LLaMA-Factory 框架

LLaMA-Factory： 不需要关心 input_ids 怎么拼，只需要指定模板名称。

# 命令行参数
--template qwen

原理： 框架内部维护了一套 template 注册表，自动帮你完成了上述 Python 代码中复杂的 Token 拼接和 Label Masking 工作。

2. 模型加载与 LoRA 挂载

PEFT： 需要显式地定义配置，并手动修改模型结构。

from peft import LoraConfig, get_peft_model
# 1. 定义配置
config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    r=8,
    lora_alpha=16
)
# 2. 加载基座模型
model = AutoModelForCausalLM.from_pretrained(...)
# 3. 挂载
model = get_peft_model(model, config)
model.print_trainable_parameters()
# 打印参数量

LLaMA-Factory： 参数化配置，自动寻找目标模块。

--finetuning_type lora \
--lora_rank 8 \
--lora_alpha 16 \
--lora_target all
# 自动识别所有线性层

3. 训练

PEFT： 使用 HF Trainer。如果想用高级功能（如 DeepSpeed、FlashAttention、QLoRA），你需要自己写代码配置 TrainingArguments 和 BitsAndBytesConfig，非常容易报错（如 OOM、类型不匹配）。

LLaMA-Factory： 开箱即用。

• 省显存：--flash_attn auto
• 量化：--quantization_bit 4
• 可视化：--plot_loss True
• 强化学习：直接把 --stage sft 改成 --stage dpo 即可无缝切换算法。

模型微调过程中的关键参数：

1. r (秩): LoRA 采用的低秩分解矩阵，关键的一个参数就是矩阵的秩 r，表示这个矩阵蕴含多少有用的信息。
2. alpha: 涉及权重矩阵的更新幅度。alpha/r * BA，可知 alpha 可以控制 lora 微调权重的幅度，可以是 r 的 2 倍或者 4 倍。
3. target_modules (微调的模块): 一般模型微调，调整的可能只有 q_proj、k_proj、v_proj 这三个权重矩阵，如果考虑微调 FFN 层，也可以增加 up_proj、down_proj 层。当然，如果你在微调过程中，想要实现让非思考模型先思考再输出，可以考虑增加特殊 token，如果一旦增加特殊的 token 之后，一定要调整 Embedding 层 embed_tokens，不然非常可能会输出乱码（采样概率相差不大导致的）。
4. dropout 率: 避免模型微调训练过拟合。

三、深度对比总结表

四、常见环境下的实现

PEFT：

1. 手动提前下载模型，配置模型仓库源
2. 数据预处理，按照模型的 chat 模板构造数据集并 Tokenization 化
3. 配置微调的 LoRA 参数
4. 向模型中添加 LoRA 模块
5. 可以通过可视化工具监控训练过程

LLaMA-Factory： 命令行执行：

1. 使用模型仓库源下载模型

# 设置环境变量
export MODEL_REPO_ENABLE=1

2. 使用命令行执行训练，下面是具体参数（DPO，强化学习微调）：

llamafactory-cli train \
--stage dpo \
--do_train True \
--model_name_or_path qwen/Qwen2.5-0.5B-Instruct \
--finetuning_type lora \
--template qwen \
--dataset dpo_zh_demo \
--dataset_dir data \
--output_dir saves/Qwen2.5-0.5B-Instruct/lora/train_dpo_fix \
--cutoff_len 1024 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--learning_rate 5e-5 \
--num_train_epochs 3.0 \
--lr_scheduler_type cosine \
--logging_steps 5 \
--save_steps 100 \
--fp16 True \
--gradient_checkpointing True \
--lora_rank 8 \
--lora_alpha 16 \
--lora_target all \
--pref_beta 0.1 \
--plot_loss True \
--trust_remote_code True

3. 微调之后需要加载 lora 微调后的参数和原始权重，进行 Chat 对话：

llamafactory-cli chat \
--model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--adapter_name_or_path saves/Qwen2.5-0.5B-Instruct/lora/train_dpo_fix \
--template qwen \
--finetuning_type lora

五、结语

LLaMA-Factory 本质上就是一套写得非常健壮、非常全面的'原生代码'。

它在底层依然调用了 transformers 和 peft。对于初学者，建议先用 LLaMA-Factory 跑通全流程，建立信心；当你发现框架无法满足你的魔改需求时，再深入阅读源码或编写自己的 Training Script。

提示：在使用 LLaMA-Factory 时，如果遇到报错，往往是因为环境变量或依赖版本问题（如 CUDA 版本不匹配）；而在使用原生代码时，报错通常是因为 Tensor 维度不匹配或显存溢出。