环境准备
本次实践基于 WSL Ubuntu 环境,硬件为双 RTX 3090。主要依赖版本如下:
- Python: 3.12.4
- Conda: 24.5.0
- CUDA: 12.4
- Torch: 2.6.0
前置检查
安装前需确认 GPU 支持 CUDA。在终端执行以下命令查看系统架构与发行版信息:
uname -m && cat /etc/*release
同时确保已安装 gcc 编译器,输入 gcc --version 验证输出是否正常。
安装 PyTorch
根据 CUDA 版本选择对应的 PyTorch 构建。对于 CUDA 12.4,推荐使用以下指令:
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
注意:若使用其他 CUDA 版本,请替换 cu124 为相应标识(如 cu118)。
验证环境
安装完成后,先通过 conda list 查看包列表,确认 Torch 版本无误。接着进入 Python 交互模式检查 CUDA 支持:
import torch
print(torch.version.cuda)
部署 LLaMA-Factory
克隆官方仓库并安装依赖。为了减少网络请求,建议仅获取最新提交:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
安装结束后,运行以下命令校验版本信息:
llamafactory-cli version
看到版本号即表示安装成功。
启动 WebUI
LLaMA-Factory 提供零代码微调的可视化界面。在项目根目录下执行:
llamafactory-cli webui
服务将启动在 http://127.0.0.1:7860。默认仅限本机访问,如需远程连接,可配合内网穿透工具使用。


