LlamaFactory v0.9.4 版本更新详解
2025 年 12 月 31 日，LlamaFactory 正式发布 v0.9.4 版本。这是一个具有里程碑意义的不可变发布版本（Immutable Release），仅允许修改发布标题和说明内容。该版本标志着 LLM 微调框架在工具链、算法支持与硬件适配上的全面进化。
重要变更
升级前请务必关注以下破坏性变更：
- 项目仓库名称变更：仓库名已从
LLaMA-Factory更新为LlamaFactory，后续官方资源将统一使用新名称。 - Python 版本要求升级：Python 3.9 与 3.10 已正式废弃，现要求 Python 3.11 – 3.13。
- 包管理工具迁移：项目从 pip 迁移至 uv。安装命令更新为：
uv pip install llamafactory - 官方博客上线：官方文档博客已发布，可访问 https://blog.llamafactory.net/en/ 获取最新技术文章。
新增功能
本次更新在算法、训练后端及工程能力上实现了显著增强：
- 🔥 支持 正交微调（Orthogonal Fine-Tuning, OFT）
- 🔥 支持 新增 Token 的语义初始化（Semantic Initialization）
- 🔥 支持通过 MCoreAdapter 进行 Megatron-LM 训练
- 🔥 支持 KTransformers 后端
- 支持 MPO 算法
- 支持 FP8 精度训练
- 支持 Transformers v5
- 支持在函数调用消息中同时使用 推理内容与纯文本
- 支持 DeepSpeed AutoTP
- 支持 高效的 NPU 融合算子
- 支持 TRL 0.24
这些特性进一步提升了大规模模型训练的分布式效率及前沿算法的落地能力。
模型支持扩展
v0.9.4 新增与扩展了大量前沿模型，覆盖文本、视觉及多任务场景：
- Falcon H1, Kimi-VL, GLM-4.5V, Gemma3n
- Granite4, Qwen3-2507, MiniCPM-V 4.0, Intern-S1-mini
- Seed-OSS, MiniCPM-V 4.5, InternVL-3.5
- ERNIE-4.5-Text, ERNIE-4.5-VL, Ling-V2
- Qwen3-VL, Qwen3-Omni, Hunyuan-mt
- GLM-4.6V, Ministral 3, VibeThinker
- MiMo-V2-Flash, MiniMax-M1, MiniMax-M2
总结
LlamaFactory v0.9.4 是一次承前启后的关键版本。它告别了旧有的工具链限制，面向未来全面进化：
- Python 环境、工具链与训练体系全面升级
- 覆盖最新算法、硬件能力与模型生态
- 继续坚持'简单 + 高效'的 LLM 微调理念
代码地址：https://github.com/hiyouga/LlamaFactory
如果你正在使用或计划使用 LlamaFactory 进行大模型训练与微调，v0.9.4 是一个值得重点关注和升级的版本。
