LLaMA-Factory 本地部署与安装指南

本示例基于双 RTX 3090 显卡环境，在 WSL Ubuntu 子系统下操作。主要依赖环境如下：

首先确认 GPU 是否支持 CUDA。访问 NVIDIA 开发者页面查看支持的显卡列表。

确保当前 Linux 版本兼容 CUDA。在命令行执行以下命令检查系统架构及发行版信息：

uname -m && cat /etc/*release

输出应显示类似 x86_64 及 Ubuntu 版本信息，具体细节略有差异不影响后续步骤。

接着检查 gcc 编译器是否已安装。输入 gcc --version，若能看到版本号说明环境正常，否则需先安装编译工具链。

推荐使用官网稳定版本。PyTorch 历史版本页面提供了不同 CUDA 版本的安装包索引。

根据实际 CUDA 版本选择对应的安装指令。例如 CUDA 12.4 环境下，执行：

pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

若是 ROCM 或 CPU 版本，请替换相应的 --index-url 参数。注意不要混用不同 CUDA 版本的包，否则可能导致运行时错误。

安装完成后，通过 Conda 列表确认 PyTorch 版本：

conda list

进入 Python 环境验证 CUDA 版本是否正确加载：

import torch
print(torch.version.cuda)

若终端输出与预期一致（如 12.4），则基础环境配置成功。

使用 Git 克隆官方仓库并安装依赖。推荐以可编辑模式安装，方便后续调试：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

该命令会拉取源码并自动安装 torch 相关扩展及评估指标库。

安装完毕后，运行 CLI 命令检查版本信息：

llamafactory-cli version

若返回具体的版本号及构建信息，表明组件已正确注册到系统中。

LLaMA-Factory 提供 WebUI 界面，支持零代码微调大语言模型。启动服务后，浏览器访问默认地址即可进入可视化控制台：

llamafactory-cli webui

更多推荐文章