LLaMA-Factory 安装与配置教程

环境要求

• OS: Linux (Ubuntu)
• GPU: NVIDIA (Support CUDA)
• Python: 3.12+
• CUDA: 12.4+
• Conda: 24.5+

一、准备工作

在 NVIDIA 官网 查看您的 GPU 是否支持 CUDA。 保证当前 Linux 版本支持 CUDA。在命令行中输入：

uname -m && cat /etc/*release

输出应显示系统信息。

检查是否安装了 gcc。在命令行中输入 gcc --version，应当看到类似输出。

二、PyTorch 和 CUDA 安装

使用官网版本 2.6.0。根据指令安装对应版本：

# CUDA 12.4
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

(其他版本如 CPU、ROCM 等请参考官方文档)

三、校验 Torch 和 CUDA 版本

安装完查看自己的 torch 版本：

conda list

cuda 版本则需要进入 python：

import torch
print(torch.version.cuda)

四、LLaMA-Factory 安装

运行以下指令以安装 LLaMA-Factory 及其依赖：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

五、LLaMA-Factory 校验

完成安装后，可以通过使用以下命令：

llamafactory-cli version

如果成功看到版本界面，说明安装成功。

六、LLaMA-Factory 网页版

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。在完成安装后，通过以下指令进入 WebUI：

llamafactory-cli webui

其中 http://127.0.0.1:7860 就是你的可视化网址。 注：该网址只限于本机使用，如需联网多人服务器使用则需使用内网穿透。