跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

LLaMA-Factory 本地部署与安装指南

LLaMA-Factory 本地部署与安装指南。基于 WSL Ubuntu 环境,配置 CUDA 12.4 及 PyTorch 2.6.0 依赖。通过 git 克隆源码并安装 torch 扩展,验证版本后启动 WebUI 进行模型微调。涵盖环境检测、依赖安装、组件校验及可视化界面启动全流程,适用于拥有 NVIDIA 显卡的开发场景。

随缘发布于 2026/3/28更新于 2026/6/1124 浏览
LLaMA-Factory 本地部署与安装指南

本示例基于双 RTX 3090 显卡环境,在 WSL Ubuntu 子系统下操作。主要依赖环境如下:

  • torch==2.6.0
  • conda==24.5.0
  • cuda==12.4
  • python==3.12.4

准备工作

首先确认 GPU 是否支持 CUDA。访问 NVIDIA 开发者页面查看支持的显卡列表。

确保当前 Linux 版本兼容 CUDA。在命令行执行以下命令检查系统架构及发行版信息:

uname -m && cat /etc/*release

输出应显示类似 x86_64 及 Ubuntu 版本信息,具体细节略有差异不影响后续步骤。

接着检查 gcc 编译器是否已安装。输入 gcc --version,若能看到版本号说明环境正常,否则需先安装编译工具链。

PyTorch 和 CUDA 安装

推荐使用官网稳定版本。PyTorch 历史版本页面提供了不同 CUDA 版本的安装包索引。

根据实际 CUDA 版本选择对应的安装指令。例如 CUDA 12.4 环境下,执行:

pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

若是 ROCM 或 CPU 版本,请替换相应的 --index-url 参数。注意不要混用不同 CUDA 版本的包,否则可能导致运行时错误。

校检 Torch 和 CUDA 版本

安装完成后,通过 Conda 列表确认 PyTorch 版本:

conda list

进入 Python 环境验证 CUDA 版本是否正确加载:

import torch
print(torch.version.cuda)

若终端输出与预期一致(如 12.4),则基础环境配置成功。

LLaMA-Factory 安装

使用 Git 克隆官方仓库并安装依赖。推荐以可编辑模式安装,方便后续调试:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

该命令会拉取源码并自动安装 torch 相关扩展及评估指标库。

LLaMA-Factory 校验

安装完毕后,运行 CLI 命令检查版本信息:

llamafactory-cli version

若返回具体的版本号及构建信息,表明组件已正确注册到系统中。

LLaMA-Factory 网页版

LLaMA-Factory 提供 WebUI 界面,支持零代码微调大语言模型。启动服务后,浏览器访问默认地址即可进入可视化控制台:

llamafactory-cli webui

启动成功后,终端将显示监听地址,通常为 http://127.0.0.1:7860。该地址仅限本机访问,如需远程连接,建议配置内网穿透或使用公网 IP 映射。

目录

  1. 准备工作
  2. PyTorch 和 CUDA 安装
  3. 校检 Torch 和 CUDA 版本
  4. LLaMA-Factory 安装
  5. LLaMA-Factory 校验
  6. LLaMA-Factory 网页版
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • OpenClaw 漏洞风险解析与 AI 代理日志审计指南
  • 宇树 G1 机器人 FAST-LIO 建图与配置指南
  • Linux 通过 NFS 挂载群晖 NAS 共享文件夹
  • Spring Cloud Tencent 适配 Spring Boot 3 及 Java 17 升级指南
  • API 网关亿级流量架构与技术选型
  • WSL 版本过旧导致 Docker Desktop 无法启动的解决方法
  • Java JDK 21 安装与环境配置教程(Windows + macOS 通用)
  • 在国内环境部署 OpenClaw 个人 AI 助手搭建指南
  • UltraScale FPGA 系统管理向导配置与温压监测实战
  • Pico 4XVR 1.10.13 安装与使用指南
  • 基于 OpenClaw 框架搭建自动化 AI 选股系统
  • Python 异步数据汇聚与并行计算框架设计与实现
  • Python 装饰器详解:概念、类型与应用场景
  • 通义万相 2.1:多模态生成模型的技术架构与应用场景解析
  • Python 聚类实战:OPTICS 算法原理与可视化全流程
  • Pi0 机器人大模型在昇腾 A2 上的部署与性能测评
  • IDEA Maven 运行时报错 Picked up JAVA_TOOL_OPTIONS 编码问题解决方法
  • ComfyUI 安装指南:国内网络加速与 GitHub 配置
  • 基于 AutoGPT 与 Python 的 AI 智能体开发实战
  • MCP Document Reader:AI 助手读取本地文档工具

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online