LLaMA-Factory 安装与环境配置实战

LLaMA-Factory 安装与环境配置实战

基于双 RTX 3090 显卡的 WSL Ubuntu 环境，本文演示如何从零搭建 LLaMA-Factory 微调平台。主要涉及 CUDA 支持检查、PyTorch 版本匹配及依赖安装。

一、环境准备

开始前先确认硬件与系统基础。首先访问 NVIDIA 官网查看您的 GPU 是否支持当前 CUDA 版本。

在命令行中执行以下命令，确认 Linux 发行版架构：

uname -m && cat /etc/*release

输出结果需与当前系统架构一致，确保后续驱动能正常加载。

接着检查编译器环境，输入 gcc --version。若未安装或版本过低，请先更新 GCC，这是编译部分依赖包的前提。

二、安装 PyTorch 与 CUDA

根据实际 CUDA 版本选择对应的 PyTorch 构建。这里以 CUDA 12.4 为例，可参考 PyTorch 历史版本页 获取最新指令。

使用 pip 安装指定版本的 torch、torchvision 和 torchaudio：

# CUDA 12.4 示例
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

注意：不同 CUDA 版本（如 11.8、12.6）对应不同的 index-url，请根据 nvidia-smi 查询结果调整。

三、版本校验

安装完成后，建议立即验证环境是否就绪。

查看 conda 列表中的 torch 版本：

conda list

进入 Python 交互模式检查 CUDA 版本：

import torch
print(torch.version.cuda)

若终端返回预期的版本号，说明底层框架已正确关联。

四、部署 LLaMA-Factory

拉取官方仓库并安装核心依赖。推荐使用 editable 模式以便后续调试：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

此步骤会下载模型推理所需的库以及评估指标工具，耗时取决于网络状况。

五、启动 WebUI

安装成功后，可通过 CLI 命令快速启动可视化界面：

llamafactory-cli webui

服务启动后，浏览器访问 http://127.0.0.1:7860 即可进入操作面板。

提示：默认监听本地地址，如需远程访问，请配置内网穿透或修改绑定 IP。