跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

LlamaFactory v0.9.4 正式发布:LLM 微调框架全面升级

LlamaFactory v0.9.4 版本发布,主要变更包括仓库名称更新为 LlamaFactory,废弃 Python 3.9/3.10 要求 3.11-3.13,包管理迁移至 uv。新增功能支持正交微调 OFT、语义初始化、Megatron-LM 训练、KTransformers 后端、MPO 算法、FP8 精度及 Transformers v5 等。模型支持扩展至 Falcon H1、Kimi-VL、Qwen3 系列等多模态及文本模型。该版本旨在提供更简单高效的 LLM 微调体验。

云朵棉花糖发布于 2026/4/5更新于 2026/5/2731 浏览

LlamaFactory v0.9.4 版本正式发布。

一、重要变更(Breaking Changes)

本次版本包含多项对使用者影响较大的变更,升级前请务必关注:

  1. 项目仓库名称变更 仓库名称已从 LLaMA-Factory 更新为 LlamaFactory,后续所有官方资源将统一使用新名称。
  2. Python 版本要求升级 Python 3.9 与 3.10 已正式废弃。 LlamaFactory 现在要求 Python 3.11 – 3.13。
  3. 包管理工具迁移 项目从 pip 迁移至 uv。 安装方式更新为: 使用 uv pip install llamafactory
  4. 官方博客上线 LlamaFactory 官方博客已正式发布: https://blog.llamafactory.net/en/

二、重磅新特性(New Features)

v0.9.4 在算法、训练后端和工程能力上实现了全面增强:

  • 🔥 支持 正交微调(Orthogonal Fine-Tuning, OFT)
  • 🔥 支持 新增 Token 的语义初始化(Semantic Initialization)
  • 🔥 支持通过 MCoreAdapter 进行 Megatron-LM 训练
  • 🔥 支持 KTransformers 后端
  • 支持 MPO 算法
  • 支持 FP8 精度训练
  • 支持 Transformers v5
  • 支持在函数调用消息中同时使用 推理内容与纯文本
  • 支持 DeepSpeed AutoTP
  • 支持 高效的 NPU 融合算子
  • 支持 TRL 0.24

这些新特性进一步提升了 LlamaFactory 在大规模模型训练、分布式效率、硬件适配以及前沿算法支持方面的能力。

三、模型支持更新(Models)

v0.9.4 新增与扩展了大量前沿模型与多模态模型支持,覆盖文本、视觉及多任务场景:

  • Falcon H1
  • Kimi-VL
  • GLM-4.5V
  • Gemma3n
  • Granite4
  • Qwen3-2507
  • MiniCPM-V 4.0
  • Intern-S1-mini
  • Seed-OSS
  • MiniCPM-V 4.5
  • InternVL-3.5
  • ERNIE-4.5-Text
  • ERNIE-4.5-VL
  • Ling-V2
  • Qwen3-VL
  • Qwen3-Omni
  • Hunyuan-mt
  • GLM-4.6V
  • Ministral 3
  • VibeThinker
  • MiMo-V2-Flash
  • MiniMax-M1
  • MiniMax-M2

该版本在多模态、视觉语言建模和新一代通用模型支持方面达到了新的高度。

四、总结

代码地址:github.com/hiyouga/LlamaFactory

是一次关键版本更新:

LlamaFactory v0.9.4
  • Python、工具链与训练体系全面升级
  • 覆盖最新算法、硬件能力与模型生态
  • 继续坚持'简单 + 高效'的 LLM 微调理念

目录

  1. 一、重要变更(Breaking Changes)
  2. 二、重磅新特性(New Features)
  3. 三、模型支持更新(Models)
  4. 四、总结
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • OpenClaw + cpolar 实现本地 AI 公网访问实战指南
  • 深入理解 Linux 网络层
  • 客观审视开源平台 BuildingAI
  • Python 字典内部实现原理详解
  • 飞算 JavaAI 代码审查落地:4 个关键细节与实践
  • 快速排序非递归实现详解:栈模拟与代码实战
  • Qt Creator 配置 GitHub Copilot 插件
  • Transformer 核心机制与架构详解:注意力、自注意力及模型结构
  • 宇树 Qmini 双足机器人训练经验总结
  • SpringBoot 整合 Neo4j 图数据库实战详解
  • 十大中国流行 AI 大模型企业及平台汇总
  • ESLint 实战指南:从原理到 TypeScript 工程化配置
  • VS Code Copilot 完整使用指南
  • Salesforce 首席科学家展望 AI Agent 未来:从个体到企业级协同
  • C++ STL list 容器详解:使用与模拟实现
  • C++ 继承机制详解
  • PVE LXC 环境下为 OpenClaw 定制 Python 3.12 编译指南
  • 从语法纠错到项目重构:Python+Copilot 全流程开发效率提升指南
  • 人工智能入门指南:零基础学习与实践
  • Spring Boot 自动配置原理与自定义 Starter 实战

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online