跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客我的书AI学习GitHub 精选镜像AI工具UI配色美学关于
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

LLaMA-Factory 本地环境搭建与安装指南

基于 WSL Ubuntu 环境,演示了 LLaMA-Factory 的完整安装流程。涵盖 CUDA 兼容性检查、GCC 环境确认、PyTorch 指定版本安装及依赖校验。通过 git 克隆源码并配置 torch 依赖后,利用 llamafactory-cli 命令验证安装状态,最终启动 WebUI 界面进行零代码微调。文中提供了具体的命令行指令与版本对应关系,适用于具备算力资源的本地开发者快速部署大模型训练框架。

霸天发布于 2026/4/5更新于 2026/10/2592 浏览
LLaMA-Factory 本地环境搭建与安装指南

文章配图

本次部署基于 WSL Ubuntu 环境,显卡配置为双 3090。核心依赖版本如下:

  • torch==2.6.0
  • conda==24.5.0
  • cuda==12.4
  • python==3.12.4

一、环境检查

开始之前,先确认硬件和基础软件是否就绪。

首先访问 NVIDIA 官网查看您的 GPU 是否支持 CUDA。确保当前 Linux 发行版兼容 CUDA 要求。在终端执行以下命令查看系统架构及版本信息:

uname -m && cat /etc/*release

输出结果需包含 x86_64 或 aarch64 等有效架构标识,具体版本信息不必完全一致,只要符合 CUDA 支持的最低要求即可。

接着检查编译器 gcc 是否已安装。输入 gcc --version,若能看到版本号输出,说明环境准备妥当。

二、安装 PyTorch 与 CUDA 环境

根据官方文档选择对应版本的 PyTorch。这里以 2.6.0 为例,历史版本列表可在 PyTorch 官网查询。

使用 pip 安装时,请根据您的 CUDA 版本选择对应的索引地址。以下是常用版本的安装指令:

# CUDA 11.8
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118

# CUDA 12.4
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

# CUDA 12.6
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126

# CPU 仅模式
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu

注:ROCM 用户请参考官方提供的 rocm6.1 或 rocm6.2.4 索引地址进行安装。

三、验证安装状态

安装完成后,建议立即校验环境是否生效。

通过 conda 查看已安装的包列表:

conda list

确认 torch 及其相关组件的版本号是否符合预期。

随后进入 Python 交互环境,直接调用 torch 接口查看 CUDA 版本:

import torch
print(torch.version.cuda)

如果控制台输出了正确的 CUDA 版本号(如 12.4),则说明底层驱动与框架对接正常。

四、部署 LLaMA-Factory

接下来安装 LLaMA-Factory 框架本身。推荐使用 git 克隆源码并安装开发模式依赖,这样方便后续调试。

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

这一步会拉取代码并自动处理 torch 及相关指标库的依赖关系。

五、启动 WebUI

安装成功后,可以通过命令行工具快速验证版本信息:

llamafactory-cli version

看到类似界面即表示框架运行正常。

LLaMA-Factory 提供了友好的 WebUI 界面,支持零代码微调大语言模型。启动服务只需一条命令:

llamafactory-cli webui

浏览器访问 http://127.0.0.1:7860 即可进入可视化操作页面。

注意: 默认情况下该服务仅监听本机 localhost。如果需要在外网或多台服务器间共享,需要配合内网穿透工具或配置反向代理。

目录

  1. 一、环境检查
  2. 二、安装 PyTorch 与 CUDA 环境
  3. CUDA 11.8
  4. CUDA 12.4
  5. CUDA 12.6
  6. CPU 仅模式
  7. 三、验证安装状态
  8. 四、部署 LLaMA-Factory
  9. 五、启动 WebUI

更多推荐文章

查看全部
  • MySQL 初級語法筆記
  • 前端实现视频画中画功能 - 主窗口与小窗同步控制
  • Whisper 语音识别库的安装与配置指南
  • 黄民烈:AI 赋能精神心理健康服务与数字疗法实践
  • GraphQL在Python中的完整实现:从基础到企业级实战
  • HTML + CSS + JavaScript 进阶:性能优化、代码质量与工程化
  • JVM 垃圾回收核心:根可达性、三色标记与 CMS/G1 对比
  • MCP AI Copilot 运维实践:从智能告警到故障自愈的量化复盘
  • 图论入门:基本概念与代码实现(邻接矩阵、邻接表、DFS/BFS)
  • MySQL 动态分区管理:自动化与优化实践
  • Qt 与 Linux Socket 跨平台通信深度解析
  • 自然语言处理在医疗健康领域的应用与实战
  • BPMN20 XML 文件的几种编辑方式
  • C 语言数据结构与算法基础:文件操作、排序查找及链表简介
  • GitNexus 技术解析:基于知识图谱的代码库分析工具
  • Cursor 中集成 MCP 服务实战指南
  • JavaAI 插件安装与自动化开发实战指南
  • 文心一言开源模型部署及多维度测评
  • 非科班转码者的 AI 学习路径:从 0 到 1
  • GLM-4.6V-Flash-WEB 实现一分钟灾情摘要生成

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online