环境准备
- 显卡：双 RTX 3090
- 系统：WSL Ubuntu
- Python: 3.12.4
- Conda: 24.5.0
- CUDA: 12.4
- PyTorch: 2.6.0
一、准备工作
首先，在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持 CUDA。
保证当前 Linux 版本支持 CUDA。在命令行中输入：
uname -m && cat /etc/*release
输出如下，不一定完全一样，类似即可：
检查是否安装了 gcc。在命令行中输入 gcc --version，应当看到类似的输出：
二、PyTorch 和 CUDA 安装
使用官网版本 2.6.0，官网链接：Previous PyTorch Versions，箭头一栏可以看到历史版本。
根据其指令安装对应版本：
# ROCM 6.1 (Linux only)
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1
# ROCM 6.2.4 (Linux only)
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4
# CUDA 11.8
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118
# CUDA 12.4
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
# CUDA 12.6
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126
# CPU only
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu
三、校验 PyTorch 和 CUDA 版本
安装完查看自己的 PyTorch 版本：
conda list
CUDA 版本则需要进入 Python：
import torch
print(torch.version.cuda)
四、LLaMA-Factory 安装
运行以下指令以安装 LLaMA-Factory 及其依赖：
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
五、LLaMA-Factory 校验
完成安装后，可以通过使用以下命令：
llamafactory-cli version
如果您能成功看到类似下面的界面，就说明安装成功了：
六、LLaMA-Factory 网页版
LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。在完成安装后，通过以下指令进入 WebUI：
llamafactory-cli webui
其中 http://127.0.0.1:7860 就是你的可视化网址。
注：该网址只限于本机使用，如需联网多人服务器使用则需使用内网穿透。
