LLaMA-Factory 作为轻量级大模型微调与推理工具,凭借低配置门槛和全功能支持成为开发者首选。但 Windows 环境下的依赖管理与环境配置常让新手望而却步。本文提供本地部署教程,按步骤操作即可完成搭建。
一、部署前的核心认知:为什么要本地部署?
相比在线平台,本地部署 LLaMA-Factory 有三大优势:
- :微调数据无需上传至云端,避免隐私泄露;
本文介绍在 Windows 环境下使用 LLaMA-Factory 进行大模型微调与推理的本地部署流程。主要步骤包括安装 Miniconda 和 Git 工具,创建 Python 虚拟环境,拉取源码,安装 PyTorch 及 LLaMA-Factory 依赖,最后启动 WebUI 界面。文中提供了 CPU 版与 GPU 版的安装命令区别,并包含常见错误排查方案如 DLL 初始化失败、端口占用等问题。通过配置一键启动脚本可优化使用体验,实现离线可用的本地大模型工具链。
相比在线平台,本地部署 LLaMA-Factory 有三大优势:
核心目标:在本地搭建 WebUI 可视化界面、模型推理和数据集微调的完整工具链,最终实现双击启动、浏览器访问的便捷体验。
本地部署需提前安装两个基础工具,用于管理 Python 环境和获取源码,均为免费且轻量化软件。
作用:创建独立的 Python 虚拟环境,避免不同项目的依赖冲突。
conda --version,若输出 conda 版本号,则安装成功。作用:快速拉取 LLaMA-Factory 源码,后续更新也更便捷。若不想安装 Git,可直接下载源码压缩包。
git --version,输出 git version 即成功。按环境准备、源码获取、依赖安装、验证启动的逻辑操作,每一步都附命令说明和验证方法。
这是 Windows 环境部署的关键,所有依赖都安装在独立环境中,不会影响电脑其他 Python 程序。
conda create -n llama-env python=3.10 -y
参数说明:-n llama-env 指定环境名,python=3.10 指定 Python 版本,-y 自动确认安装;conda activate llama-env
✅ 验证:CMD 窗口的前缀从 (base) 变为 (llama-env),说明环境激活成功,后续所有操作都将在该环境中进行。D:\python\miniconda3\Scripts\activate.bat D:\python\miniconda3\envs\llama-env
选择以下一种方式获取源码,推荐 Git 方式(后续更新只需执行 git pull 即可)。
cd /d E:\pc-project\LLaMA
说明:/d 参数用于跨盘符切换目录,若你的目录在 C 盘,可省略该参数;git clone https://github.com/hiyouga/LLaMA-Factory.git
等待执行完成,若出现 Receiving objects: 100%,说明拉取成功。核心依赖分为两部分:PyTorch(深度学习框架)和 LLaMA-Factory 本身及配套工具。按顺序安装,避免依赖解析混乱。
PyTorch 是 LLaMA-Factory 的运行基础,Windows CPU 环境下优先选择 2.1.0 版本(经过实测,该版本无 DLL 冲突问题,且满足功能需求)。
pip install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu
参数说明:--index-url 指定从 PyTorch 官方 CPU 源下载,避免下载到 GPU 版本导致冲突;
若你有 NVIDIA 显卡(支持 CUDA 11.8 及以上),可替换为 GPU 版命令,推理和微调速度会大幅提升:
pip install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cu118
cd /d E:\pc-project\LLaMA\LLaMA-Factory
pip install llamafactory[torch,metrics] -i https://pypi.tuna.tsinghua.edu.cn/simple
说明:[torch,metrics] 表示安装 LLaMA-Factory 的完整依赖,包括 transformers(模型库)、peft(参数高效微调工具)等,无需手动逐个安装。安装完成后,通过简单命令验证核心依赖是否正常加载,这是避免后续启动失败的关键一步。
python -c "import torch; import transformers; import llamafactory; print('PyTorch 版本:', torch.__version__); print('LLaMA-Factory 版本:', llamafactory.__version__)"
✅ 验证成功:若输出类似以下内容,且无报错,说明依赖安装正常:
PyTorch 版本:2.1.0+cpu
LLaMA-Factory 版本:0.9.3
❌ 常见问题:若提示 ModuleNotFoundError: No module named xxx,说明该依赖未安装成功,重新执行步骤 3 的安装命令即可。
这是最后一步,启动后将通过浏览器访问可视化界面,完成本地部署。
llamafactory-cli webui --server-port 7861
每次启动都输入命令较繁琐,可创建批处理脚本,双击即可完成激活环境、启动 WebUI 全流程。
@echo off
echo ============== 正在激活虚拟环境 ==============
call D:\python\miniconda3\Scripts\activate.bat D:\python\miniconda3\envs\llama-env
echo ============== 正在切换到源码目录 ==============
cd /d E:\pc-project\LLaMA\LLaMA-Factory
echo ============== 正在启动 LLaMA-Factory ==============
llamafactory-cli webui --server-port 7861
echo ============== 启动完成,按任意键关闭 ==============
pause
部署过程中可能遇到各类问题,以下是高频问题及解决方案,覆盖 90% 以上的启动失败场景。
根源:虚拟环境未激活,或 LLaMA-Factory 未安装成功。
解决方案:
pip install --force-reinstall llamafactory -i 清华源。根源:PyTorch 版本与 Windows 系统 VC++运行库不兼容。
解决方案:
根源:端口被占用,或 WebUI 未完成启动。
解决方案:
llamafactory-cli webui --server-port 7862,访问 http://localhost:7862;根源:虚拟环境未创建成功,或 conda 缓存异常。
解决方案:重新创建虚拟环境(步骤 1 的命令),确保执行过程无报错。
部署完成后,可通过 WebUI 快速实现核心功能:
Windows 环境下 LLaMA-Factory 的本地部署,核心是虚拟环境隔离、稳定版本选择和依赖自动解析。只要遵循本文步骤,避开未激活环境、版本不兼容、端口冲突这三大坑,即使是零基础也能顺利完成搭建。
部署完成后,你将拥有一个本地的大模型工具链,无论是用于学术研究、项目开发还是兴趣探索,都能实现高效、安全的大模型开发。若在使用过程中遇到新问题,可查看 LLaMA-Factory 的 官方文档。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online