LLaMA-Factory 环境配置与安装实战指南

本教程基于 WSL Ubuntu 环境,以双 RTX 3090 显卡为例,演示如何从零搭建 LLaMA-Factory 微调环境。核心依赖包括 CUDA 12.4、PyTorch 2.6.0 及 Python 3.12.4。
一、环境前置检查
在开始之前,先确认硬件与系统是否满足要求。首先访问 NVIDIA 官网查看您的 GPU 是否支持 CUDA。
确保当前 Linux 发行版支持 CUDA。在终端执行以下命令查看架构与版本信息:
uname -m && cat /etc/*release
输出结果应显示 x86_64 或 aarch64 等有效架构,以及 Ubuntu 相关版本号。接着检查编译器 gcc 是否已安装:
gcc --version
若看到版本号输出,说明编译环境就绪。
二、配置 PyTorch 与 CUDA
根据实际 CUDA 版本选择对应的 PyTorch 构建。这里我们使用官方提供的历史版本列表进行匹配。
打开 PyTorch 历史版本页面,找到对应 CUDA 版本的安装指令。例如 CUDA 12.4 的安装命令如下:
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
如果是 ROCM 环境或其他 CUDA 版本,请替换 --index-url 后的地址。注意不要混用不同 CUDA 版本的包,否则极易引发运行时错误。
三、验证安装状态
安装完成后,建议立即校验环境。通过 Conda 列表查看已安装的包:
conda list
确认 torch 版本无误后,进入 Python 交互模式检查 CUDA 支持情况:
import torch
print(torch.version.cuda)
若能打印出正确的 CUDA 版本号(如 12.4),则底层驱动与框架对接正常。
四、部署 LLaMA-Factory
接下来克隆项目并安装依赖。推荐使用 editable 模式以便后续调试源码:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
该命令会自动拉取核心代码及 Torch 相关的指标库,耗时取决于网络状况。
五、功能校验
安装成功后,运行 CLI 命令验证版本信息:
llamafactory-cli version




