支持百种预训练模型是什么概念？Llama-Factory 兼容列表公布
在大模型落地浪潮席卷各行各业的今天，一个现实问题摆在开发者面前：如何用有限的资源、在最短时间内，把像 LLaMA、Qwen、ChatGLM 这样的'通用大脑'变成懂医疗、会编程、能写公文的'专业助手'？
答案是——微调。但当你真正动手时，才发现事情远没那么简单：每个模型结构不同、权重格式不一、依赖版本错综复杂，光是加载模型就可能卡上好几天。更别提还要处理数据格式、配置训练参数、调试显存溢出……这哪里是微调，简直是炼丹。
正是为了解决这一痛点，Llama-Factory 横空出世。它不训练新模型，也不发布自己的'爆款'，而是做了一件更难也更有价值的事：让上百个主流大模型都能在一个框架里被轻松微调。所谓'支持 100+ 预训练模型'，不是数字游戏，而是一种工程能力的体现——把碎片化的开源生态，整合成一条标准化、可复用的微调流水线。
从'每个模型都要重写代码'到'改个配置就行'
过去，如果你想微调 Qwen 和 Baichuan，哪怕它们都是 Decoder-only 架构，你也得分别写两套加载逻辑。Tokenizer 不兼容？自己修。LoRA 注入位置不一样？手动查源码。结果往往是：还没开始训练，就已经被环境问题耗尽耐心。
Llama-Factory 的突破在于，它建立了一个模型注册中心（Model Registry），把每个主流模型的特性抽象成一份 YAML 配置：
model_name: qwen
model_type: qwen
hf_hub_id: Qwen/Qwen-7B
architectures: ["QwenForCausalLM"]
hidden_size: 4096
num_hidden_layers: 32
num_attention_heads: 32
rms_norm_eps: 1e-6
rope_scaling: null
有了这套机制，只要 Hugging Face 上有对应模型且符合 Transformers 标准，框架就能自动识别其结构特征，匹配正确的加载方式和适配策略。新增一个模型？不需要动核心代码，只需贡献一个配置文件即可。
这意味着什么？意味着你不再需要成为某个特定模型的'专家'。无论是 LLaMA、Mistral、Gemma，还是国产的 ChatGLM、Phi、InternLM，都可以通过统一接口调用：
python src/train_bash.py \
--model_name_or_path Qwen/Qwen-1.8B \
--dataset medical_qa_zh \
--finetuning_type lora \
--lora_target q_proj,v_proj
一行命令，切换模型。这才是真正的'即插即用'。
微调不是只有 LoRA，但 LoRA 让微调变得可行
很多人以为'支持百模'只是加载能力强，其实背后更大的挑战是如何在资源受限的情况下完成有效微调。毕竟，全参数微调一个 7B 模型至少需要 80GB 显存，普通用户根本无法承受。
Llama-Factory 的解法很清晰：分层支持，按需选择。
全参数微调：性能天花板，代价也最高
如果你有 A100 集群，追求极致效果，那当然可以直接更新全部参数。这种方式对任务复杂度高的场景（如长文本推理、多跳问答）依然最具优势。Llama-Factory 完整保留了这一路径，并集成 DeepSpeed、FSDP 等分布式训练技术，确保大规模实验也能稳定运行。