跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像AI 生图工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

LLaMA-Factory 本地部署与安装配置指南

LLaMA-Factory 本地部署与安装配置指南涵盖环境准备、PyTorch 与 CUDA 安装、版本校验、框架部署及 WebUI 启动全流程。重点包括 GPU 兼容性检查、GCC 环境验证、根据 CUDA 版本选择 PyTorch 安装包、使用 pip 安装 LLaMA-Factory 依赖以及通过命令行启动可视化微调界面。适用于具备 Linux 基础的开发人员快速搭建大模型微调环境。

鲜活发布于 2026/3/29更新于 2026/7/2441 浏览
LLaMA-Factory 本地部署与安装配置指南

环境准备

在开始之前,请确认您的开发环境满足以下要求。本文以 WSL Ubuntu 环境为例,实际部署可根据硬件情况调整。

首先检查 GPU 是否支持 CUDA,可访问 NVIDIA 开发者中心查询显卡兼容性。确保当前 Linux 发行版支持 CUDA 驱动。在终端执行以下命令查看系统架构及版本信息:

uname -m && cat /etc/*release

输出结果需显示 x86_64 或 aarch64 等有效架构标识。接着验证 GCC 编译器是否已安装,输入 gcc --version,若能看到版本号说明环境就绪。

安装 PyTorch 与 CUDA

根据实际 CUDA 版本选择对应的 PyTorch 安装指令。建议参考官方文档获取最新稳定版,以下为常见版本的安装示例:

# CUDA 12.4 版本
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==0.26.0 --index-url https://download.pytorch.org/whl/cu124

# CPU 版本(无显卡时使用)
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==0.26.0 --index-url https://download.pytorch.org/whl/cpu

*注意:具体版本号请以 PyTorch 官网提供的索引为准,不同 CUDA 版本对应不同的 wheel 包地址。

验证环境配置

安装完成后,先通过 conda 列表确认 torch 版本:

conda list

随后进入 Python 交互环境校验 CUDA 支持情况:

import torch
print(torch.version.cuda)

若控制台输出了正确的 CUDA 版本号,则说明底层环境搭建成功。

安装 LLaMA-Factory

使用 Git 克隆项目仓库并安装依赖。推荐采用 editable 模式以便后续修改源码调试:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

该命令会自动拉取核心代码及 Torch 相关依赖库。等待 pip 完成所有包的解析与下载。

启动 WebUI 界面

LLaMA-Factory 提供了可视化的微调界面,无需编写复杂代码即可操作。安装完毕后,运行以下命令启动服务:

llamafactory-cli webui

终端将提示服务已启动,默认监听地址为 http://127.0.0.1:7860。在浏览器中打开该链接即可进入可视化操作面板。

*注:WebUI 默认仅允许本机访问。如需远程连接,请配置内网穿透或使用公网 IP 映射,并确保防火墙规则允许相应端口通信。

至此,基础环境已配置完毕,您可以开始进行大语言模型的微调实验。

目录

  1. 环境准备
  2. 安装 PyTorch 与 CUDA
  3. CUDA 12.4 版本
  4. CPU 版本(无显卡时使用)
  5. 验证环境配置
  6. 安装 LLaMA-Factory
  7. 启动 WebUI 界面
  • 免费图片AI生成工具免费生成了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 免费图片视频在线生成30秒,将你的创意变成现实开始设计
  • X/Twitter免费视频下载器免登陆无限额度免费视频解析下载了解详情
  • 100+免费在线小游戏爽一把
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • 用 etcd-cpp-apiv3 搭建 C++ 服务注册发现
  • 2026 年 3 月 18 日人工智能产业动态与前沿趋势
  • 2025 年第三季度程序员推荐阅读书单
  • OpenClaw 框架深度指南:HEARTBEAT 机制与定时任务配置
  • ASP.NET Core 主机模型详解:Host、WebHost 与 WebApplication 对比与实践
  • PingFangSC 字体跨平台 Web 解决方案:6 种字重全兼容
  • AI 时代产品经理:厘清 AI 能力边界与技术限制
  • Ubuntu 20.04 安装 Ollama 及 Open WebUI 部署 LLM 指南
  • llama.cpp 量化模型部署实战:从模型转换到 API 服务
  • HDFS EC 基础:Vandermonde 范德蒙德矩阵原理
  • 无人机智能巡检系统与大疆云端 API 集成实践
  • C++ 共享内存原理及 Windows 实现
  • GitHub Copilot 兼容 OpenAI/Anthropic API 的代理工具 copilot-api
  • OpenClaw 对接飞书机器人高频踩坑与解决方案
  • 直流无刷电机 FOC 控制算法原理与 STM32 实战
  • C++ 线程池核心原理与代码实现
  • MetaLlama 大模型系列介绍与本地部署指南
  • OpenAI 集成 LangChain 使用详解
  • AG-UI:构建 AI 前端交互的统一协议
  • C++ 类和对象:默认成员函数详解

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online