LLamaFactory 微调实战
仓库地址
https://github.com/hiyouga/LlamaFactory?tab=readme-ov-file
本次任务是训练llm 抽取query中的实体
微调种类
llamafactory 目前是支持这些种类的微调
- 列（Full / Freeze / LoRA / QLoRA / OFT / QOFT）：讲的是“怎么更新参数”（参数高效微调 PEFT vs 全量微调）。
- 行（SFT / Reward Modeling / PPO / DPO / KTO / ORPO / SimPO）：讲的是“用什么训练目标/数据形式”（监督、偏好、RL 等）。
怎么更新参数
1) Full-tuning（全量微调）
做法：模型所有参数都更新。
优点：
- 表达能力最强，理论上效果上限最高（尤其是你要强改模型行为/风格/能力时）。
- 训练/推理代码最简单（不用插 LoRA 模块）。
缺点： - 显存、训练成本最高；多卡/ZeRO/FSDP 常见。
- 容易“灾难性遗忘”，也更容易把模型训歪（数据不够干净时）。
什么时候用：数据量大、预算足、你想做“真正的模型版本迭代”。
2) Freeze-tuning（冻结主干，只训少量模块）
做法：大部分参数冻结，只训练很少一部分（常见：最后几层、LayerNorm、Adapter、小 head）。
优点：
- 成本低、稳定、不太容易把模型训崩。
缺点： - 可塑性有限，效果上限通常不如 LoRA/全量。
什么时候用：快速适配、资源很紧、或者你只想“轻微对齐/轻微迁移”。
3) LoRA（最常用的 PEFT）
做法：冻结原权重，在注意力/MLP 的线性层旁边加一对低秩矩阵 A,B，只训练这部分“增量”。
优点：
- 性价比极高：显存大幅下降，效果通常接近全量微调（尤其做 SFT / DPO 这类）。
- 可以为同一个基座模型保存多套 LoRA（切换任务很方便）。
缺点： - 仍然需要基座模型以 FP16/BF16 方式加载训练（比 QLoRA 贵）。
什么时候用：几乎所有“常规微调”默认首选（SFT、DPO、ORPO、SimPO…都很常见）。
4) QLoRA（LoRA + 4bit 量化训练：超省显存）
做法：基座权重量化到 4bit（常见 NF4），仍然只训练 LoRA 参数；计算中用一些技巧保证训练稳定。
优点：
- 显存最省：单卡也能训更大的模型（比如 13B/34B 更现实）。
缺点： - 训练更“工程化”：依赖 bitsandbytes / 量化算子，速度可能慢一点，偶尔有数值/兼容坑。
- 极端情况下效果可能比 LoRA 略差一点点，但很多任务差距不大。
什么时候用：你想在有限 GPU 上把模型尺寸顶上去——现在非常非常常用。
用什么训练目标/数据形式
1) SFT（Supervised Fine-Tuning）
数据：(prompt,response)(prompt, response)(prompt,response) 的标准监督数据（指令-答案）。
在干嘛：最大化参考答案的似然（cross-entropy）。
优点：最简单、最稳、最常用的第一步；能快速让模型“会按指令说话”。
缺点：只能学到“数据里长什么样”，不直接优化偏好/安全/有用性；数据质量决定上限。
一句话：把模型训练成“像数据集里的优秀助教”。
2) Reward Modeling（RM，奖励模型/偏好模型）
数据：偏好对比（同一 prompt 下 A vs B，标哪个更好），或打分数据。
在干嘛：训练一个 r(x,y)去预测“人类更喜欢哪个回答”。
用途：RM 本身不是最终模型，而是给后面的 RL（比如 PPO）提供 reward。
优点：把“人类偏好”变成可优化的标量信号。
缺点：训练/维护一个额外模型；reward 容易被“钻空子”（reward hacking）。
一句话：先学会“怎么评卷”，再用它指导学生练习。
3) PPO Training（经典 RLHF 的 RL 阶段）
数据：prompt（模型自己采样回答），再用 RM 给 reward。
在干嘛：用 PPO 最大化 reward，同时用 KL 约束别偏离原模型太多（稳定训练）。
优点：能直接优化“偏好得分”；在一些场景能带来明显提升。
缺点：成本最高、最难调（采样+RL 不稳定）；对实现细节很敏感。
一句话：真正“用奖励做强化学习”，但工程最重。
4) DPO/KTO/ORPO/SimPO 偏好优化
DPO（Direct Preference Optimization）— 现在超常用
数据：偏好对 (x,y+,y−)（同一 prompt 下更好/更差）。
在干嘛：不训练 RM、不跑 PPO，直接用一个“对比式”的目标让模型更偏向 y+而不是 y−。
优点：实现简单、训练稳定、效果强；很多团队用它替代 PPO。
缺点：仍然依赖高质量偏好数据；对“偏好覆盖面”敏感。
一句话：用“更像好答案、远离差答案”的概率比，直接把模型拉过去。
KTO（偏好优化的另一种口味）
数据：可以用偏好对，也常见“单条回答 + 好/坏标签”（不一定要成对）。
在干嘛：用更简单的方式把“好/坏反馈”变成优化信号（比 DPO 在某些数据形态上更灵活）。
优点：当你只有“这条好/这条不好”的反馈时更方便。
缺点：生态和默认程度不如 DPO；不同实现细节差异较大。
一句话：不强依赖成对比较的偏好优化方案。
ORPO / SimPO（更“轻量”的偏好优化变体）
它们可以理解为：把 SFT 和偏好项合在一个目标里（或者让偏好目标更简洁/更好训）。
优点：训练更省事、更稳，很多时候能拿到接近 DPO 的收益。
缺点：不同论文/实现差异大；不一定在所有任务上都稳赢 DPO。
一句话：更像“带偏好项的 SFT++”。
环境配置
我走的环境是docker
hiyouga/llamafactory:latest
注意这个docker 拉下来自带llamafactory代码，不过因为权重放本地了所以我还是挂载本地目录了
/workspace/code/LlamaFactory
数据处理
具体看 readme_zh.md
总之自定义数据记得往 dataset_info 里面塞个
训练参数
lora
--lora_rank
rank (r) 是 LoRA 低秩矩阵的秩，决定 LoRA 的“容量”。
- LoRA 把一个线性层的权重更新写成：ΔW=BA
其中 A∈Rr×d, B∈Rd′×r - r 越大 → 可学习参数更多 → 更能拟合你的任务，但更占显存、也更容易过拟合。
经验：
- 轻任务/小数据：
r=4/8 - 多一点规则/结构化输出：
r=16常用 - 很难的迁移/很大数据：
r=32/64才可能有意义
--lora_alpha
alpha 是 LoRA 的缩放系数，控制 LoRA 更新幅度。
常见实现里会用一个缩放：
alpha大 → LoRA 更新更“猛”alpha小 → 更新更“温和”
经验：
- 经典搭配：
alpha = 2*r（比如 r=16 → alpha=32），很常见、也比较稳。 - 如果你发现模型输出开始乱飘/格式崩：可以减小 alpha 或学习率。
--lora_target
这个决定：LoRA 插到哪些线性层上（也就是你让哪些模块“可塑形”）
注意力层（Attention）
q_proj, k_proj, v_proj：把 hidden 投影成 Q/K/V
o_proj：注意力输出再投影回去
这些层决定模型“怎么注意、注意谁”，对改行为很有效。
前馈层（MLP / FFN）
gate_proj, up_proj, down_proj：对应 LLaMA/Qwen 这类常见的 gated-MLP 结构
MLP 是模型的“计算/表达”主力，占参数也多，给它上 LoRA 通常会更有力。
为什么不建议 lora_target all
all 会把一堆不关键的层也插 LoRA，慢、占用多、还可能不稳
常见默认就是只打在 attention + MLP 这些“最值钱”的线性层
调参技巧
想更准 / 规则更复杂：先加 rank（8 → 16），再看是否要加 alpha
输出格式容易崩：降低 learning_rate 或降低 alpha/r（比如 alpha=16 或 lr 从 5e-5 降到 2e-5）
过拟合（train 好、dev 差）：加 dropout（0.05 → 0.1）或减 rank
evaluation
因为数据比较结构化，所以我就拿acc 来计算的
--do_eval \ # evaluation= True
--eval_strategy steps \ #拿步为单位，否则epoch
--eval_steps 20 \
--compute_accuracy true \ #是否计算acc
--val_size 0.1 \ #数据集划分