跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像AI 生图工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

LLaMA-Factory 本地部署与安装指南

LLaMA-Factory 本地部署与安装指南。基于 WSL Ubuntu 环境,配置 CUDA 12.4 及 PyTorch 2.6.0 依赖。通过 git 克隆源码并安装 torch 扩展,验证版本后启动 WebUI 进行模型微调。涵盖环境检测、依赖安装、组件校验及可视化界面启动全流程,适用于拥有 NVIDIA 显卡的开发场景。

随缘发布于 2026/3/28更新于 2026/7/2238 浏览
LLaMA-Factory 本地部署与安装指南

本示例基于双 RTX 3090 显卡环境,在 WSL Ubuntu 子系统下操作。主要依赖环境如下:

  • torch==2.6.0
  • conda==24.5.0
  • cuda==12.4
  • python==3.12.4

准备工作

首先确认 GPU 是否支持 CUDA。访问 NVIDIA 开发者页面查看支持的显卡列表。

确保当前 Linux 版本兼容 CUDA。在命令行执行以下命令检查系统架构及发行版信息:

uname -m && cat /etc/*release

输出应显示类似 x86_64 及 Ubuntu 版本信息,具体细节略有差异不影响后续步骤。

接着检查 gcc 编译器是否已安装。输入 gcc --version,若能看到版本号说明环境正常,否则需先安装编译工具链。

PyTorch 和 CUDA 安装

推荐使用官网稳定版本。PyTorch 历史版本页面提供了不同 CUDA 版本的安装包索引。

根据实际 CUDA 版本选择对应的安装指令。例如 CUDA 12.4 环境下,执行:

pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

若是 ROCM 或 CPU 版本,请替换相应的 --index-url 参数。注意不要混用不同 CUDA 版本的包,否则可能导致运行时错误。

校检 Torch 和 CUDA 版本

安装完成后,通过 Conda 列表确认 PyTorch 版本:

conda list

进入 Python 环境验证 CUDA 版本是否正确加载:

import torch
print(torch.version.cuda)

若终端输出与预期一致(如 12.4),则基础环境配置成功。

LLaMA-Factory 安装

使用 Git 克隆官方仓库并安装依赖。推荐以可编辑模式安装,方便后续调试:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

该命令会拉取源码并自动安装 torch 相关扩展及评估指标库。

LLaMA-Factory 校验

安装完毕后,运行 CLI 命令检查版本信息:

llamafactory-cli version

若返回具体的版本号及构建信息,表明组件已正确注册到系统中。

LLaMA-Factory 网页版

LLaMA-Factory 提供 WebUI 界面,支持零代码微调大语言模型。启动服务后,浏览器访问默认地址即可进入可视化控制台:

llamafactory-cli webui

启动成功后,终端将显示监听地址,通常为 http://127.0.0.1:7860。该地址仅限本机访问,如需远程连接,建议配置内网穿透或使用公网 IP 映射。

目录

  1. 准备工作
  2. PyTorch 和 CUDA 安装
  3. 校检 Torch 和 CUDA 版本
  4. LLaMA-Factory 安装
  5. LLaMA-Factory 校验
  6. LLaMA-Factory 网页版
  • 免费图片AI生成工具免费生成了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 免费图片视频在线生成30秒,将你的创意变成现实开始设计
  • X/Twitter免费视频下载器免登陆无限额度免费视频解析下载了解详情
  • 100+免费在线小游戏爽一把
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • Python 入门实战:从零编写你的第一个网络爬虫
  • Spring Boot 集成 MyBatis-Plus 数据库操作与完整 CRUD 示例
  • 基于 FPGA 的 HDMA 驱动与 8B10B 编码实现
  • 线性回归算法原理及 Python 代码实现
  • Windows 10 系统禁用与关闭 Copilot 功能的多种方法
  • AI IDE 与 AI 辅助编程能否让程序员告别 996?
  • rrweb snapshot 深度解密:DOM 序列化与重建技术
  • Seedream 4.0 企业级图像生成能力与场景分析
  • Python 数据科学工具链入门:NumPy、Pandas、Matplotlib 快速上手
  • YOLOv10n-SOEP-PST 助老机器人目标检测与识别系统详解
  • 基于 SpringBoot+Vue 的日用品购物平台设计与实现
  • 开源 AI 绘画部署趋势:Qwen-2512+ComfyUI 实战分析
  • Spring Boot 2.0 整合 Spring Security OAuth2
  • OpenDroneMap 从无人机影像到三维地理模型教程
  • LIO-SAM 算法在 Ubuntu 22.04 与 ROS2 Humble 环境下的仿真部署实战
  • Stable Diffusion 1.5 皮革服装 LoRA 镜像部署指南
  • PID 算法原理、实现与应用实战
  • Spring Boot 项目使用 WebClient 调用第三方接口详细教程
  • Claude Code 安装与使用指南
  • Elasticsearch 核心概念、Kibana 测试与 C++ 客户端封装

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online