简介
LLaMA Factory 是主流的大模型微调工具，功能全面且易用性强，适合快速上手垂直领域模型适配。本文梳理实操流程，涵盖环境准备、硬件选型、安装部署及启动测试。
一、为什么选 LLaMA Factory？
大模型微调本质是在预训练模型基础上，用特定数据（如企业私有知识库、行业指令数据）调整参数，让模型适配具体任务。LLaMA Factory 成为主流工具的核心优势有 3 点：
- 功能全覆盖：支持增量预训练、指令监督微调（SFT）、奖励模型训练（RM）、强化学习（PPO/DPO/SimPO）等全链路技术，还兼容 16 位全参微调、冻结微调、LoRA/QLoRA 微调等多种模式；
- 模型兼容性强：适配 Meta Llama 系列、阿里千问、谷歌 Gemini、清华 ChatGLM、百川、微软 Phi 等 20+ 主流开源模型，无需手动适配；
- 易用性拉满：提供 Web UI 界面和命令行两种方式，支持多阶段训练、一键评测、API 部署。
同类工具还有阿里 Swift、微软 DeepSpeed Chat 等，可根据场景选择，但 LLaMA Factory 综合性价比最高。
二、硬件 + 软件最新配置
微调的环境准备核心是'硬件够用、软件兼容'，消费级显卡也能搞定 7B/13B 模型微调，具体配置如下：
（一）硬件配置：按模型规模精准选型
硬件门槛主要看显卡显存，内存和存储为辅助，以下是实测验证的最低配置：
| 微调模式 | 模型规模 | 最低显存要求 | 推荐显卡 | 内存要求 | 存储要求 |
|---|---|---|---|---|---|
| 4 位 QLoRA 微调 | 7B | 8GB | RTX 4060/3060（12GB 优先） | ≥16GB | ≥100GB NVMe SSD |
| 8 位 QLoRA 微调 | 7B/13B | 12GB/20GB | RTX 4070 Ti SUPER/4080 | ≥32GB | ≥200GB NVMe SSD |
| 16 位 LoRA 微调 | 7B/13B | 20GB/40GB | RTX 4090 SUPER（24GB） | ≥64GB | ≥200GB NVMe SSD |
| 16 位全参微调 | 7B/13B | 60GB/120GB | A100（80GB）/H100 | ≥128GB | ≥500GB NVMe SSD |
关键补充：
- 显卡优先选 NVIDIA，2025 年推荐消费级显卡 RTX 4090 SUPER，企业级首选 A100/H100；
- 存储必须用 NVMe SSD，模型加载和数据读取速度是 SATA SSD 的 5-8 倍；
- 无独立显卡的同学可使用云算力平台，13B 模型 QLoRA 微调单次成本较低。
（二）软件环境：版本兼容是关键
软件需安装'显卡驱动→Python 环境→核心库→LLaMA Factory'，全程建议用虚拟环境隔离：
1. 显卡驱动与 CUDA 安装
- 驱动版本：需支持 CUDA 12.0+，Windows 通过 GeForce Experience 更新，Linux 通常已预装；
- 验证方法：命令行输入
nvidia-smi，显示驱动版本≥550.00、CUDA Version≥12.0 即可； - 避坑点：无需手动安装 CUDA Toolkit，后续通过 PyTorch 自动适配。
2. Python 与虚拟环境
- Python 版本：推荐 3.11（稳定兼容所有库），最低 3.10；
- 虚拟环境工具：优先 MiniConda，安装流程：
- 创建环境：
conda create -n llama_factory python=3.11； - 激活环境：
conda activate llama_factory。
- 创建环境：
3. 核心库安装
激活虚拟环境后，执行以下命令安装依赖：
# PyTorch（含 CUDA 12.1，自动适配显卡）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
# 核心依赖库（微调必备）
pip install transformers==4.41.0 datasets==2.19.0 accelerate==0.30.0 peft==0.11.1
pip install trl==0.8.6 deepspeed==0.14.0 bitsandbytes==0.43.0 vlm==0.2.0
pip install flash-attn==2.5.9
# 中文支持与可视化库
pip install jieba==0.42.1 matplotlib==3.8.4 scikit-learn==1.4.2
关键说明：
transformers需≥4.40.0，否则无法支持 Llama 3、千问 2 等 2024 年后发布的模型；bitsandbytes是量化微调核心库，0.43.0 版本支持 4 位/8 位量化；flash-attn可提升训练速度 30%，Windows 系统需手动编译，嫌麻烦可跳过。
三、LLaMA Factory 安装部署：3 步搞定
（一）获取代码
方式 1：Git 克隆（推荐，方便后续更新）
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
方式 2：直接下载压缩包，访问 GitHub 主页，点击右上角 Code→Download ZIP，解压后进入文件夹。
（二）安装工具依赖
进入 LLaMA-Factory 目录后，执行以下命令安装工具专属依赖：
pip install -r requirements.txt
（三）验证环境
执行以下命令，若无报错则环境搭建成功：
import torch
import transformers
import peft
print("PyTorch 版本：", torch.__version__)
print("CUDA 是否可用：", torch.cuda.is_available())
print("显卡型号：", torch.cuda.get_device_name(0))
四、启动 LLaMA Factory：本地 + 远程访问
（一）本地启动
在 LLaMA-Factory 目录下执行以下命令，启动 Web UI 界面：
python src/train_web.py
启动成功后，终端会显示访问地址（默认 http://localhost:7860），打开浏览器即可进入可视化界面。
（二）远程访问（局域网/云服务器）
若需在其他设备访问，启动时添加 --share 参数：
python src/train_web.py --share
启动后会生成公共访问链接，或通过 --server-ip 0.0.0.0 指定服务器 IP，局域网内设备通过 http://服务器 IP:7860 访问。
关键配置：
- 改端口：
--server-port 8080（避免端口冲突）； - 限制显存：
--load-in-8bit（8 位量化加载模型，节省显存）； - 适配中文：界面默认支持中文，无需额外配置。
五、前期准备：基座模型 + 训练数据
（一）下载基座模型
推荐从 Hugging Face Hub 下载开源模型，国内用户可通过镜像源加速下载，常用模型推荐：
- 7B 规模：Llama 3 8B Instruct、千问 2 7B、ChatGLM4-7B（中文友好）；
- 13B 规模：Llama 3 70B Instruct（需 24GB 以上显存）、千问 2 13B；
- 下载后将模型文件夹放入
LLaMA-Factory/models目录，或在 Web UI 中指定模型路径。
（二）准备训练数据
微调效果的核心是数据质量，推荐格式：
[
{
"instruction": "请介绍 AI 大模型微调的核心作用",
"input": "",
"output": "大模型微调的核心作用是让通用预训练模型适配特定场景，通过注入私有知识、行业数据或指令格式，提升模型在垂直领域的回答准确性和相关性。"
},
{
"instruction": "基于以下数据，总结企业安全建设的关键挑战",
"input": "某企业安全建设过程中遇到技术架构老旧、员工安全技能不足、数据孤岛严重、预算有限等问题。",
"output": "该企业安全建设的关键挑战包括：1. 技术架构老旧；2. 员工安全技能欠缺；3. 数据孤岛问题；4. 预算有限。"
}
]
数据要求：
- 格式为 JSON，编码 UTF-8；
- 数量：指令微调建议≥100 条，企业私有知识场景建议≥1000 条；
- 质量：无错别字、逻辑清晰，避免重复数据。
六、2025 微调关键更新（必看）
- QLoRA 效率优化：最新版本支持 AWQ 量化微调，4 位量化下 7B 模型显存占用降至 6GB，训练速度提升 25%；
- 多模态微调支持：新增文本 + 图像/音频数据的微调功能，适配 Llama 3 multimodal、千问 2 VLM 等多模态模型；
- 一键部署功能：微调完成后可直接导出为 API 服务，支持 FastAPI/gRPC 部署，无需额外开发；
- 自动评测工具：内置 MT-Bench、AGIEval 等评测基准，微调后可一键测试模型性能，对比微调前后差异。
七、常见问题排查
- 显存不足：启用 8 位/4 位量化（Web UI 中勾选"Load in 8-bit"/"Load in 4-bit"），或减小批次大小（Batch Size）；
- 模型加载失败：检查模型路径是否正确，transformers 版本是否达标，国内用户可更换镜像源；
- 训练中途报错：大概率是数据格式错误，检查 JSON 文件是否闭合、无特殊字符，建议用 JSON 格式化工具验证；
- CUDA 版本不匹配：卸载现有 PyTorch，重新执行前文的 PyTorch 安装命令，自动适配 CUDA 版本。
总结
LLaMA Factory 作为主流的大模型微调工具，其核心优势是低门槛加全功能，无论是新手入门还是企业级应用落地都能满足需求。按照本文流程，从环境搭建到启动测试仅需 1-2 小时，后续只需准备高质量数据和合适的模型，就能快速实现垂直领域的模型微调。
