本文详细阐述了在 Windows 环境下利用 LLaMA-Factory 框架对 Qwen2.5-7B-Instruct 大模型进行微调的完整流程。内容涵盖从系统环境配置、CUDA 工具包安装、Python 虚拟环境搭建，到数据集准备、参数配置及训练执行。随后介绍了如何将微调后的 LoRA 权重转换为 GGUF 格式，并通过 Ollama 进行本地化部署与推理调用。文中提供了具体的命令行操作示例、配置文件修改指南以及常见问题排查方法，旨在帮助开发者快速掌握私有化大模型训练与部署的关键技术步骤。
本教程基于 Windows 11 系统，硬件配置建议如下：
创建 E:\mypath 文件夹，将其添加至用户环境变量 Path 中，便于后续管理全局工具。
E:\environment\cmake。E:\environment\cmake\bin 路径添加至用户环境变量 Path 中。下载 Visual Studio Community 版：
下载新版 Anaconda 安装程序，安装过程中务必勾选"添加到环境变量"选项。
将 uv 所有文件安装至 E:\uv 目录下。uv 是一个快速的 Python 包管理器，能显著提升依赖安装效率。
在终端执行以下命令：
uv python install 3.11
uv python list # 查看是否安装成功
安装 Git 客户端，确保命令行支持 git 指令。
安装 CUDA 12.1 版本：
验证安装信息：
nvidia-smi # 查看当前驱动最大支持的 CUDA 版本
nvcc -V # 查看当前安装的 CUDA 运行时版本
在 E:\AI 文件夹下克隆 LLaMA-Factory 仓库。建议使用代理加速 GitHub 访问。
git config --global http.https://github.com.proxy socks5://127.0.0.1:1080 # 对 github 设置 socks5 代理
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
uv venv -p 3.11
uv pip install -e ".[torch,metrics]"
在当前目录（LLaMA-Factory）下继续操作，安装对应版本的 flash-attn 以加速训练：
uv pip install https://github.com/bdashore3/flash-attention/releases/download/v2.6.3/flash_attn-2.6.3+cu123torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl
如果下载速度慢，可在 URL 前加 https://ghproxy.cn/ 使用国内节点下载。
uv pip install hqq
提示：若提示 UTF8 相关报错，请参考下文开启 UTF-8 支持。
在当前目录（LLaMA-Factory）下操作。
全局代理加速情况：
uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
没有全局代理加速的情况：
先通过代理下载 .whl 文件，然后本地安装：
uv pip install .\torch-2.3.1+cu121-cp311-cp311-win_amd64.whl
uv pip install torchvision==0.18.1+cu121 torchaudio==2.3.1+cu121 -f https://download.pytorch.org/whl/torch_stable.html
修改 .\data\dataset_info.json 文件，在开头花括号后加入以下内容：
"alpaca_dataset": {
"file_name": "alpaca_dataset.json"
},
然后将自定义数据集名称命名为 alpaca_dataset.json 放入 .\data 目录下。
将之前保存的 .yaml 参数配置文件放入 .\ ext_generation_inference 或 .\ rain 对应的配置目录（通常直接放在 .\ ext_generation_inference 下的 config 文件夹中，具体视版本而定，建议直接放入 .\ ext_generation_inference 根目录或根据 WebUI 提示的路径放置）。
在 E:\mypath 文件夹内新建 llamafactory-cli.bat 文件，文本编辑器打开输入以下内容并保存：
@echo off
cd /d E:\AI\LLaMA-Factory
.\.venv\Scripts\llamafactory-cli.exe %*
新开一个终端，输入以下指令开启 Web 界面：
llamafactory-cli webui
使用带 -Chat 或 -Instruct 标签的模型作为基础模型。以 Qwen2.5-7B-Instruct 为例：
E:\AI\models 中。在 LLaMA-Factory 的 Web 界面中操作：
zh。配置路径，下拉菜单选择之前保存的配置。载入训练参数按钮。Qwen2.5-7B-Instruct，填写本地模型路径：E:\AI\models\Qwen2.5-7B-Instruct。高级设置。
4。hqq。flashattn2。预览数据集按钮可查看当前数据集数量。
最大样本数即要训练用的最大样本数量。如果最大样本数小于当前数据集数量，则按最大样本数作为实际训练样本数，多出的样本不用于训练。fp16。开始进行训练。损失图判断训练效果，损失值越小且稳定即效果好。Ctrl+C 退出 Web 服务。以 ollama 调用为例，实现本地化推理。
设置用户环境变量：
OLLAMA_ORIGINS *
OLLAMA_MODELS E:\AI\ollama_models
下载 Ollama 安装包并安装，安装后重启电脑。
ollama pull qwen2.5:7b
在 E:\AI 目录下：
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
uv venv -p 3.11
uv pip install -r .\requirements\requirements-convert_lora_to_gguf.txt --index-strategy unsafe-best-match
在 E:\AI\llama.cpp 目录下：
.venv\Scripts\activate.ps1
# python ./convert_lora_to_gguf.py --base <basemodel> <loratrain>
python ./convert_lora_to_gguf.py --base "E:\AI\models\Qwen2.5-7B-Instruct" "E:\AI\LLaMA-Factory\saves\Qwen2.5-7B-Instruct\lora\train_xxx"
转换后的 gguf 文件会导出到 <loratrain> 的路径下。
Ollama 的 Modelfile 模板示例：
# set the base model
FROM qwen2.5:7b
# set custom parameter values
PARAMETER temperature 1
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop <|reserved_special_token|
# set the model template
TEMPLATE """
{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>
"""
# set the system message
SYSTEM You are a helpful assistant customized for local deployment.
# set Chinese lora support
ADAPTER .\mymodel.gguf
E:\models\mymodel 下，命名为 mymodel.gguf。mymodel.modelfile，输入上述内容并保存。ollama create mymodel -f E:\models\mymodel\mymodel.modelfile
创建模型后，可以通过命令行或 API 进行验证：
命令行测试：
ollama run mymodel "你好，请介绍一下你自己。"
API 调用示例：
curl http://localhost:11434/api/generate -d '{
"model": "mymodel",
"prompt": "请用中文回答：什么是人工智能？",
"stream": false
}'
per_device_train_batch_size 或启用 gradient_accumulation_steps。nvcc -V 显示的 CUDA 版本一致，否则可能导致导入错误。通过以上步骤，即可完成从环境搭建、模型微调到本地部署推理的全流程。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online