LLaMA-Factory环境配置与WebUI启动全攻略:从CUDA适配到依赖踩坑

最近在本地部署LLaMA-Factory时,踩了一连串环境配置的坑——从GitHub克隆失败、CUDA不可用到虚拟环境依赖缺失,最终成功启动WebUI。这篇文章就把完整的排错过程和解决方案整理出来,希望能帮到遇到类似问题的同学。

一、问题背景:本地部署LLaMA-Factory的核心诉求

目标是在Windows 10环境下,基于Anaconda创建虚拟环境,部署LLaMA-Factory并启动WebUI,利用本地NVIDIA MX230显卡(2GB显存)实现GPU加速。但从克隆仓库开始,就遇到了一系列报错,主要涉及三类问题:

  • 仓库克隆失败(GitHub连接重置、Gitee 403权限拒绝);
  • PyTorch CUDA支持缺失(报“Torch not compiled with CUDA enabled”);
  • 虚拟环境依赖缺失(直接运行WebUI报“ModuleNotFoundError: No module named 'torch'”)。

二、核心报错解析与分步解决方案

坑1:仓库克隆失败——网络限制与镜像选择

报错现象

从GitHub克隆时提示连接重置,从某Gitee镜像克隆时提示403权限拒绝:

(base) PS E:\pc-project> git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git Cloning into 'LLaMA-Factory'... fatal: unable to access 'https://github.com/hiyouga/LLaMA-Factory.git/': Recv failure: Connection was reset (base) PS E:\pc-project> git clone https://gitee.com/qzl9999/LLaMA-Factory.git Cloning into 'LLaMA-Factory'... remote: [session-6b44feb3] Access denied fatal: unable to access 'https://gitee.com/qzl9999/LLaMA-Factory.git/': The requested URL returned error: 403
原因分析

GitHub克隆失败是国内网络访问限制导致;Gitee 403是因为选择的镜像仓库权限设置问题(非公开可克隆)。

解决方案

优先选择GitHub国内镜像站,配合Git网络配置优化;备选方案使用官方维护的Gitee镜像:

# 1. 配置Git超时与网络参数(避免连接超时) git config --global http.lowSpeedLimit 0 git config --global http.lowSpeedTime 999999 git config --global http.timeout 300 # 2. 使用GitHub镜像站克隆(推荐) git clone --depth 1 https://github.91chi.fun/https://github.com/hiyouga/LLaMA-Factory.git # 3. 备选:使用Gitee官方维护镜像 rm -rf LLaMA-Factory # 删除之前失败的文件夹 git clone https://gitee.com/mirrors_LLaMA-Factory/LLaMA-Factory.git

如果Git命令仍失败,可直接手动下载源码压缩包:访问https://github.com/hiyouga/LLaMA-Factory/archive/refs/heads/main.zip,解压后重命名为“LLaMA-Factory”即可。

坑2:CUDA不可用——PyTorch版本错配

报错现象

进入Python交互环境,调用torch.cuda相关函数时报错:

>>> import torch >>> torch.cuda.current_device() Traceback (most recent call last): File "<stdin>", line 1, in <module> File "...\torch\cuda\__init__.py", line 403, in _lazy_init raise AssertionError("Torch not compiled with CUDA enabled") AssertionError: Torch not compiled with CUDA enabled

查看PyTorch编译配置,发现USE_CUDA=0(纯CPU版本):

PyTorch编译配置: PyTorch built with: ... - Build settings: ... USE_CUDA=0, ...
原因分析

默认安装的是纯CPU版本的PyTorch,而本地有NVIDIA MX230显卡(支持CUDA 12.5),需要安装带CUDA支持的PyTorch版本。

解决方案

步骤1:先确认本地显卡与CUDA支持情况

# 在PowerShell中执行,查看显卡信息 nvidia-smi

输出显示显卡为NVIDIA GeForce MX230,驱动版本556.12,支持CUDA 12.5,确认硬件支持GPU加速。

步骤2:卸载纯CPU版本PyTorch,安装适配CUDA 12.5的版本

# 1. 激活llama_factory虚拟环境 conda activate llama_factory # 2. 卸载CPU版PyTorch pip uninstall torch -y pip cache purge # 清理缓存,避免安装冲突 # 3. 安装适配CUDA 12.5的PyTorch(cu124版本兼容CUDA 12.5) pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu124

步骤3:验证CUDA是否可用

>>> import torch >>> print("CUDA是否可用:", torch.cuda.is_available()) # 输出True即成功 >>> print("GPU名称:", torch.cuda.get_device_name(0)) # 输出NVIDIA GeForce MX230 >>> print("PyTorch版本:", torch.__version__) # 输出2.4.0+cu124

坑3:依赖缺失——虚拟环境未激活

报错现象

直接用base环境的Python运行webui.py,提示缺少torch模块:

(base) PS E:\pc-project\LLaMA-Factory> & D:/python/miniconda3/python.exe e:/pc-project/LLaMA-Factory/src/webui.py Traceback (most recent call last): File "e:\pc-project\LLaMA-Factory\src\webui.py", line 7, in <module> from llamafactory.extras.misc import fix_proxy, is_env_enabled File "e:\pc-project\LLaMA-Factory\src\llamafactory\extras\misc.py", line 23, in <module> import torch ModuleNotFoundError: No module named 'torch'
原因分析

Anaconda的base环境与llama_factory虚拟环境相互隔离,torch等依赖只安装在llama_factory环境中,base环境中没有这些依赖,导致报错。

解决方案

核心是“先激活虚拟环境,再运行脚本”,提供两种可行方式:

方式1:激活环境后运行(推荐)

# 1. 激活llama_factory虚拟环境 conda activate llama_factory # 2. 切换到LLaMA-Factory根目录 cd E:\pc-project\LLaMA-Factory # 3. 运行webui.py(适配2GB显存,添加优化参数) python src/webui.py --device cuda:0 --load_in_4bit --use_gradient_checkpointing

方式2:直接调用虚拟环境的Python(无需手动激活)

# 直接指定llama_factory环境的Python路径 & D:/python/miniconda3/envs/llama_factory/python.exe e:/pc-project/LLaMA-Factory/src/webui.py --device cuda:0 --load_in_4bit --use_gradient_checkpointing

参数说明:

  • --device cuda:0:指定使用第0号GPU(本地MX230);
  • --load_in_4bit:4比特量化加载模型,大幅降低显存占用;
  • --use_gradient_checkpointing:梯度检查点,进一步节省显存。

坑4:WebUI启动无响应——低显存适配

问题现象

执行启动命令后,终端无响应或长时间无输出。

原因分析

MX230显卡仅2GB显存,默认启动方式显存占用过高,导致静默崩溃;或首次启动需加载依赖,过程较慢。

解决方案

添加日志输出参数查看进度,同时进一步优化显存占用:

python src/webui.py --device cuda:0 --load_in_4bit --use_gradient_checkpointing --offload_folder ./offload --verbose

参数说明:

  • --offload_folder ./offload:将部分模型数据卸载到硬盘,牺牲少量速度换显存;
  • --verbose:打印启动日志,清晰看到加载进度(如“Loading tokenizer...”“Initializing model...”)。

启动成功后,终端会显示访问地址(如http://127.0.0.1:7860),打开浏览器即可进入WebUI。

三、避坑总结与关键提醒

  1. 环境隔离是核心:Anaconda虚拟环境必须激活后使用,所有依赖安装和脚本运行都要在目标环境中进行,避免混用base环境;
  2. CUDA版本要匹配:安装PyTorch前先通过nvidia-smi确认显卡支持的CUDA版本,选择兼容的PyTorch-CUDA版本(如CUDA 12.5适配cu124版本);
  3. 低显存显卡需优化:2GB显存仅能运行小模型(如LLaMA-3-8B 4bit、Qwen-1.8B),必须添加--load_in_4bit等量化参数,否则会显存不足;
  4. 日志是排错关键:遇到无响应或报错时,添加--verbose参数查看详细日志,快速定位问题所在。

四、最终成功启动流程(一键复制)

# 1. 激活虚拟环境 conda activate llama_factory # 2. 切换到项目根目录 cd E:\pc-project\LLaMA-Factory # 3. 优化参数启动WebUI python src/webui.py --device cuda:0 --load_in_4bit --use_gradient_checkpointing --offload_folder ./offload --verbose

按照以上步骤,就能顺利解决LLaMA-Factory部署过程中的克隆、CUDA适配、依赖缺失等问题,成功启动WebUI。如果遇到其他报错,建议优先查看终端日志,重点关注“网络连接”“显存占用”“依赖版本”这三个核心点,大部分问题都能迎刃而解。

Read more

AI编程革命:2026年我靠Cursor+Copilot,效率提升300%实战手册

AI编程革命:2026年我靠Cursor+Copilot,效率提升300%实战手册

【目录】 * 前言:程序员的生产力革命已来 * 一、Cursor vs Copilot:2026年最强AI编程组合 * 1.1 核心定位与差异 * 1.2 为什么选择组合使用? * 二、环境配置:30分钟搭建AI编程黄金工作流 * 2.1 安装与基础配置 * Step 1:安装Cursor * Step 2:安装Copilot插件 * Step 3:核心配置优化( settings.json ) * 2.2 项目级AI规则配置(.cursorrules) * 三、核心功能:Cursor+Copilot 10大效率神器 * 3.1 Cursor核心功能 * 1. Agent模式(Ctrl+I):AI自动执行多步骤任务 * 2. Plan

N46Whisper:智能日语语音转字幕的革命性解决方案

N46Whisper:智能日语语音转字幕的革命性解决方案 【免费下载链接】N46WhisperWhisper based Japanese subtitle generator 项目地址: https://gitcode.com/gh_mirrors/n4/N46Whisper 还在为日语视频字幕制作而烦恼吗?N46Whisper基于先进的AI语音识别技术,为你提供一键式的日语语音转字幕服务。这款云端工具能够将日语音频快速准确地转换为ass和srt格式的字幕文件,彻底告别传统手动打字的繁琐流程。 日语字幕制作面临的三大痛点 耗时耗力的手动输入:传统字幕制作需要逐字逐句听写,1小时视频往往需要3-4小时才能完成。 技术门槛阻碍创作:复杂的字幕软件和编码要求让许多视频创作者望而却步。 翻译质量难以保证:日语到中文的准确翻译需要专业语言能力,普通用户难以胜任。 N46Whisper的智能解决方案 云端AI语音识别引擎 N46Whisper采用业界领先的Whisper语音识别模型,专门针对日语发音特点进行优化。无论是综艺节目的快速对话,还是演讲的正式用语,都能实现95%以

老手机 本地部署小龙虾OpenClaw(使用本地千问大模型)实机演示 Termux+Ubuntu+Llama 新手完整安装教程(含代码)

本教程提供从 0 到 1 的详细步骤,在安卓手机上通过 Termux 运行 Ubuntu,部署本地 Llama 大模型,并集成 OpenClaw 进行 AI 交互,全程无需 Root。建议手机配置:≥4GB 内存,≥64GB 存储,Android 7+。 一、准备工作 1.1 安装 Termux 1. 从F-Droid或GitHub下载最新版 Termux(避免应用商店旧版本) 2. 安装并打开,首次启动会自动配置基础环境 1.2 手机设置优化 1. 开启开发者选项(设置→关于手机→连续点击版本号 7 次) 2.

Flutter 三方库 angular_bloc 的鸿蒙化适配指南 - 在鸿蒙系统上构建极致响应、工业级的 AngularDart 与 BLoC 协同架构实战

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 angular_bloc 的鸿蒙化适配指南 - 在鸿蒙系统上构建极致响应、工业级的 AngularDart 与 BLoC 协同架构实战 在鸿蒙(OpenHarmony)系统的桌面级协同(如分布式办公网页版)、后台管理终端或高度复杂的 Web 仪表盘开发中,如何将经典的 BLoC 状态管理应用于 AngularDart 环境?angular_bloc 为开发者提供了一套天衣无缝的组件化连接器。本文将实战演示其在鸿蒙 Web 生态中的深度应用。 前言 什么是 Angular BLoC?它是一套专门为 AngularDart 框架设计的 BLoC 实现。通过指令(Directives)和管道(Pipes),它实现了由于数据流变化触发的 UI