引言：把大模型'改装'成你需要的样子
如果把通用大模型比作一台性能强悍的标准配置电脑，LLaMA Factory 做的事情，就像给它加内存、换显卡、装插件——不必推倒重来，也能让它更适合某个具体场景。
传统的全量微调更像'重装系统'：成本高、周期长，还容易把原本表现不错的能力一起改没了。相比之下，参数高效微调只在少量参数上做文章，更适合资源有限、但又想快速定制模型的团队和个人。
LLaMA Factory 的价值，恰好就在这里：它把大模型微调这件事，做成了一套更标准、更省心的工程流程。
核心思路：为什么不必动整个模型
大模型适配新任务时，并不总需要改动全部参数。很多时候，只要在关键层上加一小段'可训练增量'，模型就能学会新能力。
这也是 LLaMA Factory 支持 LoRA、QLoRA 等方案的原因。它不是让你去重新训练一个模型，而是尽量沿用基础模型的通用能力，再用很小的代价补上领域知识。
LoRA：给模型加一层可插拔的适配器
LoRA（Low-Rank Adaptation，低秩自适应）是 LLaMA Factory 里最常用的微调方式之一。
可以把它理解成：原模型的大参数矩阵尽量不动，只在旁边加两个更小的矩阵，专门学习新任务所需的变化。
原始输出 = W × x
LoRA 改造后 = W × x + (B × A × x) / α
这种做法有几个直接好处：
- 增加的可训练参数很少，通常只占原模型的 0.1% 到 1%
- 训练更快，显存压力更小
- 不同任务可以保存不同的适配器，按需加载即可
QLoRA：在更小显存里跑起来
如果显卡资源有限，QLoRA 会更实用。
QLoRA 的思路是把量化和 LoRA 结合起来：先把基础模型压缩到更低精度，再在上面训练 LoRA 适配器。这样既能把显存占用压下来，又能尽量保住模型效果。
从工程角度看，这类方案最大的意义不是'极限省显存'本身，而是让很多原本跑不动的大模型，也能在单卡或者小规模 GPU 上完成微调。
三种微调方式的区别
| 微调方式 | 类比 | 更新参数量 | 显存需求 | 适用场景 |
|---|---|---|---|---|
| 全量微调 | 重装系统 | 100% | 很高 | 资源充足、追求极致定制 |
| LoRA 微调 | 安装插件 | 0.1% - 1% | 中等 | 大多数应用场景 |
| QLoRA 微调 | 压缩后再装插件 | 0.1% - 1% | 更低 | 单卡或资源受限环境 |
LLaMA Factory 的工程设计：为什么它好用
LLaMA Factory 不只是把一堆训练脚本拼在一起，它更像一个分层清晰的微调工作台。
模型层
它兼容多种开源模型，统一了接入方式。对使用者来说，这意味着不用为每个模型单独写一套训练逻辑。
数据层
它支持多种常见数据格式，并提供模板化处理能力。数据只要整理到约定格式，后面的训练流程就能顺着跑下去。
训练层
它支持单卡、多卡和分布式训练，也考虑了混合精度、梯度累积这类实际工程里绕不开的问题。
评估层
训练不是终点。模型训练完成后，效果好不好、通用能力有没有被破坏，都需要评估层来兜底。
部署层
训练出的适配器可以导出、合并，也可以直接接入推理服务。对于真正要落地的项目，这一步很关键。
实战流程：从准备到第一次训练
下面按一个比较自然的工程顺序来走，目标不是把每个参数都讲满，而是先把完整流程跑通。
