LLaMA-Factory 本地部署与安装指南

本文基于 WSL Ubuntu 环境，配合 NVIDIA 显卡（如双 3090）进行演示。主要涉及 PyTorch、CUDA 版本匹配及 LLaMA-Factory 的完整安装流程。

环境准备

在开始之前，请确认您的 GPU 支持 CUDA。访问 NVIDIA CUDA GPUs 查询兼容性。

确保 Linux 发行版支持 CUDA。在终端执行以下命令查看系统架构和版本信息：

uname -m && cat /etc/*release

输出结果无需完全一致，只要显示为 Linux 环境即可。此外，需检查 gcc 编译器是否已安装：

gcc --version

若能看到版本号输出，说明环境正常。

配置 PyTorch 与 CUDA

推荐使用稳定版 PyTorch。根据实际 CUDA 版本选择对应的安装包。例如当前环境使用 CUDA 12.4，Python 3.12.4。

可参考 PyTorch 历史版本获取具体指令。以下是不同后端版本的安装命令示例：

# CUDA 11.8
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==0.21.0 --index-url https://download.pytorch.org/whl/cu118

# CUDA 12.4
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==0.21.0 --index-url https://download.pytorch.org/whl/cu124

# CPU only
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==0.21.0 --index-url https://download.pytorch.org/whl/cpu

注意：请根据实际 CUDA 版本替换上述命令中的索引 URL。

验证环境

安装完成后，建议立即校验版本以确保无误。

首先通过 conda 查看已安装的包：

conda list

接着进入 Python 交互模式检查 CUDA 版本：

import torch
print(torch.version.cuda)

若输出与预期 CUDA 版本一致，则基础环境配置成功。

安装 LLaMA-Factory

接下来安装核心框架。克隆官方仓库并安装依赖：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

使用 -e 参数表示以可编辑模式安装，方便后续修改代码调试。

启动 WebUI

安装完毕后，可通过命令行工具验证版本：

LLaMA-Factory 本地部署与安装指南