
本次部署基于 WSL Ubuntu 环境,显卡配置为双 3090。核心依赖版本如下:
- torch==2.6.0
- conda==24.5.0
- cuda==12.4
- python==3.12.4
一、环境检查
开始之前,先确认硬件和基础软件是否就绪。
首先访问 NVIDIA 官网查看您的 GPU 是否支持 CUDA。确保当前 Linux 发行版兼容 CUDA 要求。在终端执行以下命令查看系统架构及版本信息:
uname -m && cat /etc/*release
输出结果需包含 x86_64 或 aarch64 等有效架构标识,具体版本信息不必完全一致,只要符合 CUDA 支持的最低要求即可。
接着检查编译器 gcc 是否已安装。输入 gcc --version,若能看到版本号输出,说明环境准备妥当。
二、安装 PyTorch 与 CUDA 环境
根据官方文档选择对应版本的 PyTorch。这里以 2.6.0 为例,历史版本列表可在 PyTorch 官网查询。
使用 pip 安装时,请根据您的 CUDA 版本选择对应的索引地址。以下是常用版本的安装指令:
# CUDA 11.8
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118
# CUDA 12.4
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
# CUDA 12.6
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126
# CPU 仅模式
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu
注:ROCM 用户请参考官方提供的 rocm6.1 或 rocm6.2.4 索引地址进行安装。
三、验证安装状态
安装完成后,建议立即校验环境是否生效。
通过 conda 查看已安装的包列表:
conda list
确认 torch 及其相关组件的版本号是否符合预期。
随后进入 Python 交互环境,直接调用 torch 接口查看 CUDA 版本:
import torch
print(torch.version.cuda)
如果控制台输出了正确的 CUDA 版本号(如 12.4),则说明底层驱动与框架对接正常。
四、部署 LLaMA-Factory
接下来安装 LLaMA-Factory 框架本身。推荐使用 git 克隆源码并安装开发模式依赖,这样方便后续调试。
git --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
LLaMA-Factory
pip install -e


