大模型微调实战：基于 LLaMA Factory 的部署与训练指南

• 显卡优先选 NVIDIA（A 卡需安装 ROCm，兼容性较差），2025 年推荐消费级显卡 RTX 4090 SUPER（24GB，性价比最高），企业级首选 A100/H100；
• 存储必须用 NVMe SSD，模型加载和数据读取速度是 SATA SSD 的 5-8 倍，避免因 IO 瓶颈导致训练卡顿；
• 无独立显卡的同学可使用云算力平台，13B 模型 QLoRA 微调单次成本可控。

（二）软件环境：版本兼容是关键

软件需安装'显卡驱动→Python 环境→核心库→LLaMA Factory'，全程建议用虚拟环境隔离，避免版本冲突。

1. 显卡驱动与 CUDA 安装

• 驱动版本：需支持 CUDA 12.0+，Windows 通过 GeForce Experience 更新，Linux 通常已预装；
• 验证方法：命令行输入 nvidia-smi，显示驱动版本≥550.00、CUDA Version≥12.0 即可；
• 避坑点：无需手动安装 CUDA Toolkit，后续通过 PyTorch 自动适配，手动安装易导致版本冲突。

2. Python 与虚拟环境

• Python 版本：推荐 3.11（稳定兼容所有库），最低 3.10；
• 虚拟环境工具：优先 MiniConda（轻量级，节省空间）。

# 创建环境
conda create -n llama_factory python=3.11
# 激活环境
conda activate llama_factory

3. 核心库安装

激活虚拟环境后，执行以下命令安装依赖：

# PyTorch（含 CUDA 12.1，自动适配显卡）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 核心依赖库（微调必备）
pip install transformers==4.41.0 datasets==2.19.0 accelerate==0.30.0 peft==0.11.1
pip install trl==0.8.6 deepspeed==0.14.0 bitsandbytes==0.43.0 vlm==0.2.0

# 注意力机制加速，可选但推荐
pip install flash-attn==2.5.9

# 中文支持与可视化库
pip install jieba==0.42.1 matplotlib==3.8.4 scikit-learn==1.4.2

关键说明：

• transformers 需≥4.40.0，否则无法支持 Llama 3、千问 2 等 2024 年后发布的模型；
• bitsandbytes 是量化微调核心库，0.43.0 版本支持 4 位/8 位量化，适配最新显卡；
• flash-attn 可提升训练速度 30%，但 Windows 系统需手动编译，嫌麻烦可跳过。

三、LLaMA Factory 安装部署

（一）获取代码

方式 1：Git 克隆（推荐，方便后续更新）

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

方式 2：直接下载压缩包访问 GitHub 主页，点击右上角"Code→Download ZIP"，解压后进入文件夹。

（二）安装工具依赖

进入 LLaMA-Factory 目录后，执行以下命令安装工具专属依赖：

pip install -r requirements.txt

（三）验证环境

执行以下命令，若无报错则环境搭建成功：

import torch
import transformers
import peft
print("PyTorch 版本：", torch.__version__)
print("CUDA 是否可用：", torch.cuda.is_available())
print("显卡型号：", torch.cuda.get_device_name(0))

四、启动 LLaMA Factory

（一）本地启动

在 LLaMA-Factory 目录下执行以下命令，启动 Web UI 界面：

python src/train_web.py

启动成功后，终端会显示访问地址（默认 http://localhost:7860），打开浏览器即可进入可视化界面。

（二）远程访问

若需在其他设备访问（如公司电脑访问服务器），启动时添加 --share 参数：

python src/train_web.py --share

启动后会生成公共访问链接，或通过 --server-ip 0.0.0.0 指定服务器 IP，局域网内设备通过 http://服务器 IP:7860 访问。

关键配置：

• 改端口：--server-port 8080（避免端口冲突）；
• 限制显存：--load-in-8bit（8 位量化加载模型，节省显存）；
• 适配中文：界面默认支持中文，无需额外配置。

五、前期准备：基座模型 + 训练数据

（一）下载基座模型

推荐从 Hugging Face Hub 下载开源模型，国内用户可通过魔搭社区加速下载。常用模型推荐：

• 7B 规模：Llama 3 8B Instruct、千问 2 7B、ChatGLM4-7B（中文友好）；
• 13B 规模：Llama 3 70B Instruct（需 24GB 以上显存）、千问 2 13B；
• 下载后将模型文件夹放入 LLaMA-Factory/models 目录，或在 Web UI 中指定模型路径。

（二）准备训练数据

微调效果的核心是数据质量，推荐格式如下：

[
  {
    "instruction": "请介绍 AI 大模型微调的核心作用",
    "input": "",
    "output": "大模型微调的核心作用是让通用预训练模型适配特定场景，通过注入私有知识、行业数据或指令格式，提升模型在垂直领域的回答准确性和相关性。"
  },
  {
    "instruction": "基于以下数据，总结企业安全建设的关键挑战",
    "input": "某企业安全建设过程中遇到技术架构老旧、员工安全技能不足、数据孤岛严重、预算有限等问题。",
    "output": "该企业安全建设的关键挑战包括：1. 技术架构老旧；2. 员工安全技能欠缺；3. 数据孤岛问题；4. 预算有限。"
  }
]

数据要求：

• 格式为 JSON，编码 UTF-8；
• 数量：指令微调建议≥100 条（越多效果越好），企业私有知识场景建议≥1000 条；
• 质量：无错别字、逻辑清晰，避免重复数据。

六、2025 微调关键更新

1. QLoRA 效率优化：最新版本支持 AWQ 量化微调，4 位量化下 7B 模型显存占用降至 6GB，训练速度提升 25%；
2. 多模态微调支持：新增文本 + 图像/音频数据的微调功能，适配 Llama 3 multimodal、千问 2 VLM 等多模态模型；
3. 一键部署功能：微调完成后可直接导出为 API 服务，支持 FastAPI/Grpc 部署，无需额外开发；
4. 自动评测工具：内置 MT-Bench、AGIEval 等评测基准，微调后可一键测试模型性能，对比微调前后差异。

七、常见问题排查

1. 显存不足：启用 8 位/4 位量化（Web UI 中勾选"Load in 8-bit"/'Load in 4-bit'），或减小批次大小（Batch Size）；
2. 模型加载失败：检查模型路径是否正确，transformers 版本是否达标，国内用户可更换魔搭社区源；
3. 训练中途报错：大概率是数据格式错误，检查 JSON 文件是否闭合、无特殊字符，建议用 JSON 格式化工具验证；
4. CUDA 版本不匹配：卸载现有 PyTorch，重新执行前文的 PyTorch 安装命令，自动适配 CUDA 版本。

总结

LLaMA Factory 作为主流的大模型微调工具，其核心优势是'低门槛 + 全功能'，无论是新手入门还是企业级应用落地都能满足需求。按照上述流程，从环境搭建到启动测试仅需 1-2 小时，后续只需准备高质量数据和合适的模型，就能快速实现垂直领域的模型微调。