LLaMA Factory 部署与微调：从零到能跑

装核心库

# PyTorch（含 CUDA 12.1，自动适配）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 微调必备
pip install transformers==4.41.0 datasets==2.19.0 accelerate==0.30.0 peft==0.11.1
pip install trl==0.8.6 deepspeed==0.14.0 bitsandbytes==0.43.0 vlm==0.2.0

# 可选 flash-attn，能提速 30% 左右，但 Windows 编译麻烦，可以略过
pip install flash-attn==2.5.9

# 中文分词和画图库
pip install jieba==0.42.1 matplotlib==3.8.4 scikit-learn==1.4.2

几个版本选择的理由：

• transformers 至少得 4.40.0 以上，不然 Llama 3、千问 2 这种新模型认不到。
• bitsandbytes 是量化的主力，0.43.0 这次对新显卡兼容很好。
• 我平时用 4.41.0 和 2.19.0 这套组合最顺手，没出过奇怪问题，就一直没换。

安装 LLaMA Factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt

如果不想用 Git，直接下载 ZIP 包解压也一样。装完后验证一下环境：

import torch
import transformers
import peft
print("PyTorch 版本：", torch.__version__)
print("CUDA 可用？", torch.cuda.is_available())
print("显卡型号：", torch.cuda.get_device_name(0))

没报错就说明搭好了。

启动试试

python src/train_web.py

默认在 http://localhost:7860 打开 Web UI。如果想在局域网其他电脑访问，加上 --server-ip 0.0.0.0，或者用 --share 生成一个公网链接。端口冲突就 --server-port 8080。显存紧张的话上传模型时勾选'Load in 8-bit'。

界面默认是中文的，不用额外配置。

准备基座模型和数据

模型推荐从 Hugging Face Hub 下载，国内用魔搭社区更快。把模型文件夹扔到 LLaMA-Factory/models 下，或者在 Web UI 里直接填路径。

数据格式就是经典的 instruction-input-output JSON，比如：

[
  {
    "instruction": "用一句话解释微调的作用",
    "input": "",
    "output": "微调通过注入特定领域数据，让通用模型在垂直任务上更准确。"
  }
]

数据质量比数量重要。100 条像样的数据效果就可见，几千条更好。千万别有错别字或重复数据，格式不对是训练中断的最大原因，建议用格式化工具检查一遍 JSON。

碰到问题这样查

• 显存不足：8 位/4 位量化、减小 batch size。Web UI 里直接勾选。
• 模型加载失败：检查路径，确认 transformers 版本，国内用户换魔搭源。
• 训练中途报错：大概率数据格式问题，用 JSON 验证工具过一遍。
• CUDA 版本不匹配：卸载 PyTorch，重跑上面的 pip install torch 命令，它会自动匹配。

以上基本能把环境跑通。后面再补模型选择和微调参数的部分。