环境要求
- OS: Linux (Ubuntu)
- GPU: NVIDIA (Support CUDA)
- Python: 3.12+
- CUDA: 12.4+
- Conda: 24.5+
一、准备工作
在 NVIDIA 官网 查看您的 GPU 是否支持 CUDA。 保证当前 Linux 版本支持 CUDA。在命令行中输入:
uname -m && cat /etc/*release
输出应显示系统信息。
检查是否安装了 gcc。在命令行中输入 gcc --version,应当看到类似输出。
二、PyTorch 和 CUDA 安装
使用官网版本 2.6.0。根据指令安装对应版本:
# CUDA 12.4
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
(其他版本如 CPU、ROCM 等请参考官方文档)
三、校验 Torch 和 CUDA 版本
安装完查看自己的 torch 版本:
conda list
cuda 版本则需要进入 python:
import torch
print(torch.version.cuda)
四、LLaMA-Factory 安装
运行以下指令以安装 LLaMA-Factory 及其依赖:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
五、LLaMA-Factory 校验
完成安装后,可以通过使用以下命令:
llamafactory-cli version
如果成功看到版本界面,说明安装成功。
六、LLaMA-Factory 网页版
LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。在完成安装后,通过以下指令进入 WebUI:
llamafactory-cli webui
其中 http://127.0.0.1:7860 就是你的可视化网址。
注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。


