
LLaMA-Factory 详细安装教程
在 WSL Ubuntu 环境下安装 LLaMA-Factory 的完整流程。首先检查 GPU 和 CUDA 支持,安装指定版本的 PyTorch 及依赖。随后克隆并安装 LLaMA-Factory 库,验证版本后启动 WebUI 进行模型微调。适用于拥有 NVIDIA 显卡的开发环境。

在 WSL Ubuntu 环境下安装 LLaMA-Factory 的完整流程。首先检查 GPU 和 CUDA 支持,安装指定版本的 PyTorch 及依赖。随后克隆并安装 LLaMA-Factory 库,验证版本后启动 WebUI 进行模型微调。适用于拥有 NVIDIA 显卡的开发环境。


首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持 CUDA。
保证当前 Linux 版本支持 CUDA。在命令行中输入
uname -m && cat /etc/*release
输出如下,不一定完全一样,类似即可

检查是否安装了 gcc。在命令行中输入 gcc --version,应当看到类似的输出

使用官网版本 2.6.0。官网链接:Previous PyTorch Versions。箭头一栏可以看到历史版本。


根据其指令安装对应版本
# ROCM 6.1 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1
# ROCM 6.2.4 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4
# CUDA 11.8 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118
# CUDA 12.4 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
# CUDA 12.6 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126
# CPU only pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu
安装完查看自己的 torch 版本
conda list

cuda 版本则需要进入 python
import torch
print(torch.version.cuda)

运行以下指令以安装 LLaMA-Factory 及其依赖:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
完成安装后,可以通过使用以下命令。
llamafactory-cli version
如果您能成功看到类似下面的界面,就说明安装成功了。

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。在完成 安装 后,通过以下指令进入 WebUI:
llamafactory-cli webui

其中 http://127.0.0.1:7860 就是你的可视化网址。
注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online