LLaMA-Factory 详细安装与配置指南
环境准备
本教程基于以下环境：
- 操作系统：WSL Ubuntu
- CUDA 版本：12.4
- Python 版本：3.12.4
- PyTorch 版本：2.6.0
一、准备工作
首先，在 NVIDIA 官网查看您的 GPU 是否支持 CUDA。保证当前 Linux 版本支持 CUDA。在命令行中输入：
uname -m && cat /etc/*release
输出应显示系统信息。检查是否安装了 gcc。在命令行中输入 gcc --version，应当看到类似输出。
二、PyTorch 和 CUDA 安装
使用官网指定版本。根据指令安装对应版本：
# ROCM 6.1 (Linux only)
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1
# ROCM 6.2.4 (Linux only)
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4
# CUDA 11.8
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118
# CUDA 12.4
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
# CUDA 12.6
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126
# CPU only
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu
三、校验 Torch 和 CUDA 版本
安装完查看自己的 torch 版本：
conda list
CUDA 版本则需要进入 Python 环境检查：
import torch
print(torch.version.cuda)
四、LLaMA-Factory 安装
运行以下指令以安装 LLaMA-Factory 及其依赖：
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
五、LLaMA-Factory 校验
完成安装后，可以通过使用以下命令验证：
