大模型微调实战指南：使用 LLaMA Factory

3. 核心库安装

激活虚拟环境后，执行以下命令安装依赖：

# PyTorch（含 CUDA 12.1，自动适配显卡）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 核心依赖库（微调必备）
pip install transformers==4.41.0 datasets==2.19.0 accelerate==0.30.0 peft==0.11.1
pip install trl==0.8.6 deepspeed==0.14.0 bitsandbytes==0.43.0 vlm==0.2.0
pip install flash-attn==2.5.9

# 中文支持与可视化库
pip install jieba==0.42.1 matplotlib==3.8.4 scikit-learn==1.4.2

关键说明：

• transformers 需≥4.40.0，否则无法支持 Llama 3、千问 2 等 2024 年后发布的模型；
• bitsandbytes 是量化微调核心库，0.43.0 版本支持 4 位/8 位量化；
• flash-attn 可提升训练速度 30%，Windows 系统需手动编译，嫌麻烦可跳过。

三、LLaMA Factory 安装部署：3 步搞定

（一）获取代码

方式 1：Git 克隆（推荐，方便后续更新）

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

方式 2：直接下载压缩包，访问 GitHub 主页，点击右上角 Code→Download ZIP，解压后进入文件夹。

（二）安装工具依赖

进入 LLaMA-Factory 目录后，执行以下命令安装工具专属依赖：

pip install -r requirements.txt

（三）验证环境

执行以下命令，若无报错则环境搭建成功：

import torch
import transformers
import peft
print("PyTorch 版本：", torch.__version__)
print("CUDA 是否可用：", torch.cuda.is_available())
print("显卡型号：", torch.cuda.get_device_name(0))

四、启动 LLaMA Factory：本地 + 远程访问

（一）本地启动

在 LLaMA-Factory 目录下执行以下命令，启动 Web UI 界面：

python src/train_web.py

启动成功后，终端会显示访问地址（默认 http://localhost:7860），打开浏览器即可进入可视化界面。

（二）远程访问（局域网/云服务器）

若需在其他设备访问，启动时添加 --share 参数：

python src/train_web.py --share

启动后会生成公共访问链接，或通过 --server-ip 0.0.0.0 指定服务器 IP，局域网内设备通过 http://服务器 IP:7860 访问。

关键配置：

• 改端口：--server-port 8080（避免端口冲突）；
• 限制显存：--load-in-8bit（8 位量化加载模型，节省显存）；
• 适配中文：界面默认支持中文，无需额外配置。

五、前期准备：基座模型 + 训练数据

（一）下载基座模型

推荐从 Hugging Face Hub 下载开源模型，国内用户可通过镜像源加速下载，常用模型推荐：

• 7B 规模：Llama 3 8B Instruct、千问 2 7B、ChatGLM4-7B（中文友好）；
• 13B 规模：Llama 3 70B Instruct（需 24GB 以上显存）、千问 2 13B；
• 下载后将模型文件夹放入 LLaMA-Factory/models 目录，或在 Web UI 中指定模型路径。

（二）准备训练数据

微调效果的核心是数据质量，推荐格式：

[
  {
    "instruction": "请介绍 AI 大模型微调的核心作用",
    "input": "",
    "output": "大模型微调的核心作用是让通用预训练模型适配特定场景，通过注入私有知识、行业数据或指令格式，提升模型在垂直领域的回答准确性和相关性。"
  },
  {
    "instruction": "基于以下数据，总结企业安全建设的关键挑战",
    "input": "某企业安全建设过程中遇到技术架构老旧、员工安全技能不足、数据孤岛严重、预算有限等问题。",
    "output": "该企业安全建设的关键挑战包括：1. 技术架构老旧；2. 员工安全技能欠缺；3. 数据孤岛问题；4. 预算有限。"
  }
]

数据要求：

• 格式为 JSON，编码 UTF-8；
• 数量：指令微调建议≥100 条，企业私有知识场景建议≥1000 条；
• 质量：无错别字、逻辑清晰，避免重复数据。

六、2025 微调关键更新（必看）

1. QLoRA 效率优化：最新版本支持 AWQ 量化微调，4 位量化下 7B 模型显存占用降至 6GB，训练速度提升 25%；
2. 多模态微调支持：新增文本 + 图像/音频数据的微调功能，适配 Llama 3 multimodal、千问 2 VLM 等多模态模型；
3. 一键部署功能：微调完成后可直接导出为 API 服务，支持 FastAPI/gRPC 部署，无需额外开发；
4. 自动评测工具：内置 MT-Bench、AGIEval 等评测基准，微调后可一键测试模型性能，对比微调前后差异。

七、常见问题排查

1. 显存不足：启用 8 位/4 位量化（Web UI 中勾选"Load in 8-bit"/"Load in 4-bit"），或减小批次大小（Batch Size）；
2. 模型加载失败：检查模型路径是否正确，transformers 版本是否达标，国内用户可更换镜像源；
3. 训练中途报错：大概率是数据格式错误，检查 JSON 文件是否闭合、无特殊字符，建议用 JSON 格式化工具验证；
4. CUDA 版本不匹配：卸载现有 PyTorch，重新执行前文的 PyTorch 安装命令，自动适配 CUDA 版本。

总结

LLaMA Factory 作为主流的大模型微调工具，其核心优势是低门槛加全功能，无论是新手入门还是企业级应用落地都能满足需求。按照本文流程，从环境搭建到启动测试仅需 1-2 小时，后续只需准备高质量数据和合适的模型，就能快速实现垂直领域的模型微调。