跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
Python

LLaMA-Factory环境配置与WebUI启动全攻略:从CUDA适配到依赖踩坑

综述由AI生成最近在本地部署LLaMA-Factory时,踩了一连串环境配置的坑——从GitHub克隆失败、CUDA不可用到虚拟环境依赖缺失,最终成功启动WebUI。这篇文章就把完整的排错过程和解决方案整理出来,希望能帮到遇到类似问题的同学。 一、问题背景:本地部署LLaMA-Factory的核心诉求 目标是在Windows 10环境下,基于Anaconda创建虚拟环境,部署LLaMA-Factory并启动We…

魔尊发布于 2026/4/6更新于 2026/5/2562K 浏览

最近在本地部署LLaMA-Factory时,踩了一连串环境配置的坑——从GitHub克隆失败、CUDA不可用到虚拟环境依赖缺失,最终成功启动WebUI。这篇文章就把完整的排错过程和解决方案整理出来,希望能帮到遇到类似问题的同学。

一、问题背景:本地部署LLaMA-Factory的核心诉求

目标是在Windows 10环境下,基于Anaconda创建虚拟环境,部署LLaMA-Factory并启动WebUI,利用本地NVIDIA MX230显卡(2GB显存)实现GPU加速。但从克隆仓库开始,就遇到了一系列报错,主要涉及三类问题:

  • 仓库克隆失败(GitHub连接重置、Gitee 403权限拒绝);
  • PyTorch CUDA支持缺失(报'Torch not compiled with CUDA enabled');
  • 虚拟环境依赖缺失(直接运行WebUI报'ModuleNotFoundError: No module named 'torch'')。

二、核心报错解析与分步解决方案

坑1:仓库克隆失败——网络限制与镜像选择
报错现象

从GitHub克隆时提示连接重置,从某Gitee镜像克隆时提示403权限拒绝:

(base) PS E:\pc-project> git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git Cloning into 'LLaMA-Factory'... fatal: unable to access 'https://github.com/hiyouga/LLaMA-Factory.git/': Recv failure: Connection was reset (base) PS E:\pc-project> git clone https://gitee.com/qzl9999/LLaMA-Factory.git Cloning into 'LLaMA-Factory'... remote: [session-6b44feb3] Access denied fatal: unable to access 'https://gitee.com/qzl9999/LLaMA-Factory.git/': The requested URL returned error: 403
原因分析

GitHub克隆失败是国内网络访问限制导致;Gitee 403是因为选择的镜像仓库权限设置问题(非公开可克隆)。

解决方案

优先选择GitHub国内镜像站,配合Git网络配置优化;备选方案使用官方维护的Gitee镜像:

# 1. 配置Git超时与网络参数(避免连接超时) git config --global http.lowSpeedLimit 0 git config --global http.lowSpeedTime 999999 git config --global http.timeout 300 # 2. 使用GitHub镜像站克隆(推荐) git clone --depth 1 https://github.91chi.fun/https://github.com/hiyouga/LLaMA-Factory.git # 3. 备选:使用Gitee官方维护镜像 rm -rf LLaMA-Factory # 删除之前失败的文件夹 git clone https://gitee.com/mirrors_LLaMA-Factory/LLaMA-Factory.git

如果Git命令仍失败,可直接手动下载源码压缩包:访问https://github.com/hiyouga/LLaMA-Factory/archive/refs/heads/main.zip,解压后重命名为'LLaMA-Factory'即可。

坑2:CUDA不可用——PyTorch版本错配
报错现象

进入Python交互环境,调用torch.cuda相关函数时报错:

>>> import torch >>> torch.cuda.current_device() Traceback (most recent call last): File "<stdin>", line 1, in <module> File "...\torch\cuda\__init__.py", line 403, in _lazy_init raise AssertionError("Torch not compiled with CUDA enabled") AssertionError: Torch not compiled with CUDA enabled

查看PyTorch编译配置,发现USE_CUDA=0(纯CPU版本):

PyTorch编译配置: PyTorch built with: ... - Build settings: ... USE_CUDA=0, ...
原因分析

默认安装的是纯CPU版本的PyTorch,而本地有NVIDIA MX230显卡(支持CUDA 12.5),需要安装带CUDA支持的PyTorch版本。

解决方案

步骤1:先确认本地显卡与CUDA支持情况

# 在PowerShell中执行,查看显卡信息 nvidia-smi

输出显示显卡为NVIDIA GeForce MX230,驱动版本556.12,支持CUDA 12.5,确认硬件支持GPU加速。

步骤2:卸载纯CPU版本PyTorch,安装适配CUDA 12.5的版本

# 1. 激活llama_factory虚拟环境 conda activate llama_factory # 2. 卸载CPU版PyTorch pip uninstall torch -y pip cache purge # 清理缓存,避免安装冲突 # 3. 安装适配CUDA 12.5的PyTorch(cu124版本兼容CUDA 12.5) pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu124

步骤3:验证CUDA是否可用

>>> import torch >>> print("CUDA是否可用:", torch.cuda.is_available()) # 输出True即成功 >>> print("GPU名称:", torch.cuda.get_device_name(0)) # 输出NVIDIA GeForce MX230 >>> print("PyTorch版本:", torch.__version__) # 输出2.4.0+cu124
坑3:依赖缺失——虚拟环境未激活
报错现象

直接用base环境的Python运行webui.py,提示缺少torch模块:

(base) PS E:\pc-project\LLaMA-Factory> & D:/python/miniconda3/python.exe e:/pc-project/LLaMA-Factory/src/webui.py Traceback (most recent call last): File "e:\pc-project\LLaMA-Factory\src\webui.py", line 7, in <module> from llamafactory.extras.misc import fix_proxy, is_env_enabled File "e:\pc-project\LLaMA-Factory\src\llamafactory\extras\misc.py", line 23, in <module> import torch ModuleNotFoundError: No module named 'torch'
原因分析

Anaconda的base环境与llama_factory虚拟环境相互隔离,torch等依赖只安装在llama_factory环境中,base环境中没有这些依赖,导致报错。

解决方案

核心是'先激活虚拟环境,再运行脚本',提供两种可行方式:

方式1:激活环境后运行(推荐)

# 1. 激活llama_factory虚拟环境 conda activate llama_factory # 2. 切换到LLaMA-Factory根目录 cd E:\pc-project\LLaMA-Factory # 3. 运行webui.py(适配2GB显存,添加优化参数) python src/webui.py --device cuda:0 --load_in_4bit --use_gradient_checkpointing

方式2:直接调用虚拟环境的Python(无需手动激活)

# 直接指定llama_factory环境的Python路径 & D:/python/miniconda3/envs/llama_factory/python.exe e:/pc-project/LLaMA-Factory/src/webui.py --device cuda:0 --load_in_4bit --use_gradient_checkpointing

参数说明:

  • --device cuda:0:指定使用第0号GPU(本地MX230);
  • --load_in_4bit:4比特量化加载模型,大幅降低显存占用;
  • --use_gradient_checkpointing:梯度检查点,进一步节省显存。
坑4:WebUI启动无响应——低显存适配
问题现象

执行启动命令后,终端无响应或长时间无输出。

原因分析

MX230显卡仅2GB显存,默认启动方式显存占用过高,导致静默崩溃;或首次启动需加载依赖,过程较慢。

解决方案

添加日志输出参数查看进度,同时进一步优化显存占用:

python src/webui.py --device cuda:0 --load_in_4bit --use_gradient_checkpointing --offload_folder ./offload --verbose

参数说明:

  • --offload_folder ./offload:将部分模型数据卸载到硬盘,牺牲少量速度换显存;
  • --verbose:打印启动日志,清晰看到加载进度(如'Loading tokenizer...''Initializing model...')。

启动成功后,终端会显示访问地址(如http://127.0.0.1:7860),打开浏览器即可进入WebUI。

三、避坑总结与关键提醒

  1. 环境隔离是核心:Anaconda虚拟环境必须激活后使用,所有依赖安装和脚本运行都要在目标环境中进行,避免混用base环境;
  2. CUDA版本要匹配:安装PyTorch前先通过nvidia-smi确认显卡支持的CUDA版本,选择兼容的PyTorch-CUDA版本(如CUDA 12.5适配cu124版本);
  3. 低显存显卡需优化:2GB显存仅能运行小模型(如LLaMA-3-8B 4bit、Qwen-1.8B),必须添加--load_in_4bit等量化参数,否则会显存不足;
  4. 日志是排错关键:遇到无响应或报错时,添加--verbose参数查看详细日志,快速定位问题所在。

四、最终成功启动流程(一键复制)

# 1. 激活虚拟环境 conda activate llama_factory # 2. 切换到项目根目录 cd E:\pc-project\LLaMA-Factory # 3. 优化参数启动WebUI python src/webui.py --device cuda:0 --load_in_4bit --use_gradient_checkpointing --offload_folder ./offload --verbose

按照以上步骤,就能顺利解决LLaMA-Factory部署过程中的克隆、CUDA适配、依赖缺失等问题,成功启动WebUI。如果遇到其他报错,建议优先查看终端日志,重点关注'网络连接''显存占用''依赖版本'这三个核心点,大部分问题都能迎刃而解。

目录

  1. 一、问题背景:本地部署LLaMA-Factory的核心诉求
  2. 二、核心报错解析与分步解决方案
  3. 坑1:仓库克隆失败——网络限制与镜像选择
  4. 报错现象
  5. 原因分析
  6. 解决方案
  7. 1. 配置Git超时与网络参数(避免连接超时) git config --global http.lowSpeedLimit 0 git config --global http.lowSpeedTime 999999 git config --global http.timeout 300 # 2. 使用GitHub镜像站克隆(推荐) git clone --depth 1 https://github.91chi.fun/https://github.com/hiyouga/LLaMA-Factory.git # 3. 备选:使用Gitee官方维护镜像 rm -rf LLaMA-Factory # 删除之前失败的文件夹 git clone https://gitee.com/mirrors_LLaMA-Factory/LLaMA-Factory.git
  8. 坑2:CUDA不可用——PyTorch版本错配
  9. 报错现象
  10. 原因分析
  11. 解决方案
  12. 在PowerShell中执行,查看显卡信息 nvidia-smi
  13. 1. 激活llamafactory虚拟环境 conda activate llamafactory # 2. 卸载CPU版PyTorch pip uninstall torch -y pip cache purge # 清理缓存,避免安装冲突 # 3. 安装适配CUDA 12.5的PyTorch(cu124版本兼容CUDA 12.5) pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu124
  14. 坑3:依赖缺失——虚拟环境未激活
  15. 报错现象
  16. 原因分析
  17. 解决方案
  18. 1. 激活llamafactory虚拟环境 conda activate llamafactory # 2. 切换到LLaMA-Factory根目录 cd E:\pc-project\LLaMA-Factory # 3. 运行webui.py(适配2GB显存,添加优化参数) python src/webui.py --device cuda:0 --loadin4bit --usegradientcheckpointing
  19. 直接指定llamafactory环境的Python路径 & D:/python/miniconda3/envs/llamafactory/python.exe e:/pc-project/LLaMA-Factory/src/webui.py --device cuda:0 --loadin4bit --usegradientcheckpointing
  20. 坑4:WebUI启动无响应——低显存适配
  21. 问题现象
  22. 原因分析
  23. 解决方案
  24. 三、避坑总结与关键提醒
  25. 四、最终成功启动流程(一键复制)
  26. 1. 激活虚拟环境 conda activate llamafactory # 2. 切换到项目根目录 cd E:\pc-project\LLaMA-Factory # 3. 优化参数启动WebUI python src/webui.py --device cuda:0 --loadin4bit --usegradientcheckpointing --offloadfolder ./offload --verbose
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • 前端国际化实战:基于 i18next 的多语言方案
  • C++ 不使用第三方库在 RGB 图像上打印信息
  • 基于高阶控制障碍函数的端到端无人机高速避障强化学习框架
  • C++ STL 基础:迭代器、auto 与范围循环
  • 基于 Higress 将 REST API 转换为 MCP Server 工具
  • IntelliJ IDEA 打包 Web 项目 WAR 包及 Tomcat 部署指南
  • 使用 Python 和 ChromaDB 构建简易 RAG 应用
  • 本地部署 LLaMA-Factory 实现大模型微调与推理
  • Python 基础语法陷阱与底层原理深度解析
  • 5 款 AI 写作工具横评:DeepSeek、Kimi、笔灵等网文创作辅助指南
  • GLM-4.6V-Flash-WEB AI 看图说话应用部署与实战
  • C++ 内存管理进阶:从裸指针到智能指针实战
  • C++ 内存区域详解:堆、栈与静态区变量存储
  • CISSP 和 CCSP 证书 2023 年度考试时间及国内考点汇总
  • AI 大模型基础与深度学习实战指南
  • Python 2026 发展局势:AI 时代的通用基础设施语言
  • LangChain 与大语言模型应用开发指南
  • 开源大模型选型指南:如何构建合适的技术底座
  • Obsidian Copilot 智能搜索功能详解与使用教程
  • baoyu-skills:使用 AI 辅助技术文章配图与排版

相关免费在线工具

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online

  • Base64 文件转换器

    将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online

  • Markdown转HTML

    将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online

  • HTML转Markdown

    将 HTML 片段转为 GitHub Flavored Markdown,支持标题、列表、链接、代码块与表格等;浏览器内处理,可链接预填。 在线工具,HTML转Markdown在线工具,online

  • JSON 压缩

    通过删除不必要的空白来缩小和压缩JSON。 在线工具,JSON 压缩在线工具,online