LLaMA-Factory 详细安装与配置指南
环境准备
本教程基于以下环境:
- 操作系统:WSL Ubuntu
- CUDA 版本:12.4
- Python 版本:3.12.4
- PyTorch 版本:2.6.0
一、准备工作
首先,在 NVIDIA 官网查看您的 GPU 是否支持 CUDA。保证当前 Linux 版本支持 CUDA。在命令行中输入:
uname -m && cat /etc/*release
输出应显示系统信息。检查是否安装了 gcc。在命令行中输入 gcc --version,应当看到类似输出。
二、PyTorch 和 CUDA 安装
使用官网指定版本。根据指令安装对应版本:
# ROCM 6.1 (Linux only)
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1
# ROCM 6.2.4 (Linux only)
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4
# CUDA 11.8
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118
# CUDA 12.4
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
# CUDA 12.6
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126
# CPU only
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu
三、校验 Torch 和 CUDA 版本
安装完查看自己的 torch 版本:
conda list
CUDA 版本则需要进入 Python 环境检查:
import torch
print(torch.version.cuda)
四、LLaMA-Factory 安装
运行以下指令以安装 LLaMA-Factory 及其依赖:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
五、LLaMA-Factory 校验
完成安装后,可以通过使用以下命令验证:


