跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客我的书AI学习GitHub 精选镜像AI工具UI配色美学关于
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

LLaMA-Factory 环境配置与安装实战指南

LLaMA-Factory 是一款开源的大模型微调工具。详述了在 Linux 环境下基于 Conda 和 CUDA 的配置流程。涵盖环境检查、PyTorch 版本匹配、依赖安装及 WebUI 启动验证。重点解决了 CUDA 兼容性校验与本地服务访问限制问题,确保用户能顺利部署大语言模型训练环境。

修罗发布于 2026/3/28更新于 2026/10/2686 浏览
LLaMA-Factory 环境配置与安装实战指南

LLaMA-Factory 环境配置与安装实战指南

文章配图

本教程基于 WSL Ubuntu 环境,以双 RTX 3090 显卡为例,演示如何从零搭建 LLaMA-Factory 微调环境。核心依赖包括 CUDA 12.4、PyTorch 2.6.0 及 Python 3.12.4。

一、环境前置检查

在开始之前,先确认硬件与系统是否满足要求。首先访问 NVIDIA 官网查看您的 GPU 是否支持 CUDA。

确保当前 Linux 发行版支持 CUDA。在终端执行以下命令查看架构与版本信息:

uname -m && cat /etc/*release

输出结果应显示 x86_64 或 aarch64 等有效架构,以及 Ubuntu 相关版本号。接着检查编译器 gcc 是否已安装:

gcc --version

若看到版本号输出,说明编译环境就绪。

二、配置 PyTorch 与 CUDA

根据实际 CUDA 版本选择对应的 PyTorch 构建。这里我们使用官方提供的历史版本列表进行匹配。

打开 PyTorch 历史版本页面,找到对应 CUDA 版本的安装指令。例如 CUDA 12.4 的安装命令如下:

pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

如果是 ROCM 环境或其他 CUDA 版本,请替换 --index-url 后的地址。注意不要混用不同 CUDA 版本的包,否则极易引发运行时错误。

三、验证安装状态

安装完成后,建议立即校验环境。通过 Conda 列表查看已安装的包:

conda list

确认 torch 版本无误后,进入 Python 交互模式检查 CUDA 支持情况:

import torch
print(torch.version.cuda)

若能打印出正确的 CUDA 版本号(如 12.4),则底层驱动与框架对接正常。

四、部署 LLaMA-Factory

接下来克隆项目并安装依赖。推荐使用 editable 模式以便后续调试源码:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

该命令会自动拉取核心代码及 Torch 相关的指标库,耗时取决于网络状况。

五、功能校验

安装成功后,运行 CLI 命令验证版本信息:

llamafactory-cli version

如果终端返回类似下图的版本号界面,说明组件加载完整。

文章配图

六、启动 WebUI

LLaMA-Factory 提供了零代码的 Web 界面,适合快速上手微调任务。在项目根目录下执行:

llamafactory-cli webui

服务启动后,浏览器访问 http://127.0.0.1:7860 即可进入可视化操作台。

文章配图

注意:默认服务仅监听本地回环地址。如需远程访问,需配置内网穿透或修改绑定 IP,切勿直接暴露在公网以防安全风险。

目录

  1. LLaMA-Factory 环境配置与安装实战指南
  2. 一、环境前置检查
  3. 二、配置 PyTorch 与 CUDA
  4. 三、验证安装状态
  5. 四、部署 LLaMA-Factory
  6. 五、功能校验
  7. 六、启动 WebUI

更多推荐文章

查看全部
  • 大模型驱动的智能广告系统技术实践
  • Java 核心面试题与答案详解
  • baoyu-skills:Claude Code 高效内容生成技能集
  • 集成 Linly-Talker 实现智能客服数字人
  • 十个实用的 AI 提示词工程技巧
  • Whisper 模型部署常见错误排查与性能优化实践
  • Java Spring Web MVC 核心注解与使用指南
  • AI 对话应用接口开发:同步、SSE 流式与智能体前端对接
  • AI 大模型在智慧城市 11 个行业的应用场景解析
  • 给本地 AI 助手装「超级插件市场」:OpenClaw 技能实战指南
  • 基于 AI 快速开发 MCP 服务插件及部署测试指南
  • LLM 逻辑推演策略:推理时与训练时计算选择
  • GitHub Copilot SDK 与云原生多智能体系统构建
  • 使用 PyTorch 从零构建 Transformer 模型:原理、代码与训练预测
  • 医疗送药机器人三重链式编程技术:空间拓扑、动态决策与容错控制
  • VSCode Copilot 接入智谱 GLM-5.1 配置教程
  • Docker 部署 AI 量化分析平台与波浪理论应用
  • Java 集成 MinIO:大文件分片上传与预签名 URL 实战
  • 金融风控文本分析:基于 Llama-Factory 的反欺诈模型训练
  • 前端文件上传处理:优化体验与性能

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online