本示例基于双 RTX 3090 显卡环境,在 WSL Ubuntu 子系统下操作。主要依赖环境如下:
- torch==2.6.0
- conda==24.5.0
- cuda==12.4
- python==3.12.4
准备工作
首先确认 GPU 是否支持 CUDA。访问 NVIDIA 开发者页面查看支持的显卡列表。
确保当前 Linux 版本兼容 CUDA。在命令行执行以下命令检查系统架构及发行版信息:
uname -m && cat /etc/*release
输出应显示类似 x86_64 及 Ubuntu 版本信息,具体细节略有差异不影响后续步骤。
接着检查 gcc 编译器是否已安装。输入 gcc --version,若能看到版本号说明环境正常,否则需先安装编译工具链。
PyTorch 和 CUDA 安装
推荐使用官网稳定版本。PyTorch 历史版本页面提供了不同 CUDA 版本的安装包索引。
根据实际 CUDA 版本选择对应的安装指令。例如 CUDA 12.4 环境下,执行:
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
若是 ROCM 或 CPU 版本,请替换相应的 --index-url 参数。注意不要混用不同 CUDA 版本的包,否则可能导致运行时错误。
校检 Torch 和 CUDA 版本
安装完成后,通过 Conda 列表确认 PyTorch 版本:
conda list
进入 Python 环境验证 CUDA 版本是否正确加载:
import torch
print(torch.version.cuda)
若终端输出与预期一致(如 12.4),则基础环境配置成功。
LLaMA-Factory 安装
使用 Git 克隆官方仓库并安装依赖。推荐以可编辑模式安装,方便后续调试:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
该命令会拉取源码并自动安装 torch 相关扩展及评估指标库。
LLaMA-Factory 校验
安装完毕后,运行 CLI 命令检查版本信息:
llamafactory-cli version
若返回具体的版本号及构建信息,表明组件已正确注册到系统中。
LLaMA-Factory 网页版
LLaMA-Factory 提供 WebUI 界面,支持零代码微调大语言模型。启动服务后,浏览器访问默认地址即可进入可视化控制台:
llamafactory-cli webui
启动成功后,终端将显示监听地址,通常为 http://127.0.0.1:7860。该地址仅限本机访问,如需远程连接,建议配置内网穿透或使用公网 IP 映射。


