使用 LLaMA-Factory 训练 LLM 大模型并用 Ollama 调用

安装 flash-attention 训练加速

在当前目录（LLaMA-Factory）下继续操作，安装对应版本的 flash-attn 以加速训练：

uv pip install https://github.com/bdashore3/flash-attention/releases/download/v2.6.3/flash_attn-2.6.3+cu123torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl

如果下载速度慢，可在 URL 前加 https://ghproxy.cn/ 使用国内节点下载。

安装 hqq 用于量化

uv pip install hqq

提示：若提示 UTF8 相关报错，请参考下文开启 UTF-8 支持。

开启使用 UTF-8 提供全球语言支持

1. 打开控制面板，进入"更改系统区域设置"。
2. 勾选"Beta 版：使用 Unicode UTF-8 提供全球语言支持 (U)"。
3. 重启电脑。
4. 安装完后可将该项取消勾选，以避免影响其他软件兼容性。

安装与当前 CUDA 适配的 PyTorch

在当前目录（LLaMA-Factory）下操作。

全局代理加速情况：

uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

没有全局代理加速的情况： 先通过代理下载 .whl 文件，然后本地安装：

uv pip install .\torch-2.3.1+cu121-cp311-cp311-win_amd64.whl
uv pip install torchvision==0.18.1+cu121 torchaudio==2.3.1+cu121 -f https://download.pytorch.org/whl/torch_stable.html

配置之前保存的参数

修改 .\data\dataset_info.json 文件，在开头花括号后加入以下内容：

  "alpaca_dataset": {
    "file_name": "alpaca_dataset.json"
  },

然后将自定义数据集名称命名为 alpaca_dataset.json 放入 .\data 目录下。 将之前保存的 .yaml 参数配置文件放入 .\ ext_generation_inference 或 .\ rain 对应的配置目录（通常直接放在 .\ ext_generation_inference 下的 config 文件夹中，具体视版本而定，建议直接放入 .\ ext_generation_inference 根目录或根据 WebUI 提示的路径放置）。

添加环境变量快捷启动

在 E:\mypath 文件夹内新建 llamafactory-cli.bat 文件，文本编辑器打开输入以下内容并保存：

@echo off
cd /d E:\AI\LLaMA-Factory
.\.venv\Scripts\llamafactory-cli.exe %*

新开一个终端，输入以下指令开启 Web 界面：

llamafactory-cli webui

下载基础模型

使用带 -Chat 或 -Instruct 标签的模型作为基础模型。以 Qwen2.5-7B-Instruct 为例：

• 到魔搭社区（ModelScope）或其他官方渠道下载模型。
• 按说明下载模型文件到 E:\AI\models 中。
• 注意：其中大文件下载的进度条可能不是实时显示，每隔一段进度才显示一次，并非卡住不动，请耐心等待。

模型微调

在 LLaMA-Factory 的 Web 界面中操作：

1. 语言选择：选 zh。
2. 配置路径：滑到最下面找到配置路径，下拉菜单选择之前保存的配置。
3. 载入参数：点击载入训练参数按钮。
4. 模型设置：滑到最上面，模型名称填写 Qwen2.5-7B-Instruct，填写本地模型路径：E:\AI\models\Qwen2.5-7B-Instruct。
5. 高级设置：展开高级设置。
   • 量化等级设置 4。
   • 量化方法选 hqq。
   • 加速方式选 flashattn2。
6. 数据集：可加载多个，点击预览数据集按钮可查看当前数据集数量。
   • 最大样本数即要训练用的最大样本数量。如果最大样本数小于当前数据集数量，则按最大样本数作为实际训练样本数，多出的样本不用于训练。
7. 计算类型：选 fp16。
8. 输出目录：按需选填。
9. 开始训练：点击开始进行训练。
10. 效果评估：训练结束后查看损失图判断训练效果，损失值越小且稳定即效果好。
11. 退出服务：在终端按 Ctrl+C 退出 Web 服务。

微调后的模型使用

以 ollama 调用为例，实现本地化推理。

部署 Ollama

设置环境变量

设置用户环境变量：

OLLAMA_ORIGINS			*
OLLAMA_MODELS			E:\AI\ollama_models

下载并安装

下载 Ollama 安装包并安装，安装后重启电脑。

拉取基础模型

ollama pull qwen2.5:7b

微调模型格式转换

部署 llama.cpp

在 E:\AI 目录下：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
uv venv -p 3.11
uv pip install -r .\requirements\requirements-convert_lora_to_gguf.txt --index-strategy unsafe-best-match

模型检查点转换为 GGUF

在 E:\AI\llama.cpp 目录下：

.venv\Scripts\activate.ps1
# python ./convert_lora_to_gguf.py --base <basemodel> <loratrain>
python ./convert_lora_to_gguf.py --base "E:\AI\models\Qwen2.5-7B-Instruct" "E:\AI\LLaMA-Factory\saves\Qwen2.5-7B-Instruct\lora\train_xxx"

转换后的 gguf 文件会导出到 <loratrain> 的路径下。

部署微调模型

从 Ollama 创建新模型

Ollama 的 Modelfile 模板示例：

# set the base model
FROM qwen2.5:7b
 
# set custom parameter values
PARAMETER temperature 1
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop <|reserved_special_token| 
 
# set the model template
TEMPLATE """
{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>
""" 
 
# set the system message
SYSTEM You are a helpful assistant customized for local deployment.
# set Chinese lora support
ADAPTER .\mymodel.gguf

1. 将转换后的 gguf 文件剪切到 E:\models\mymodel 下，命名为 mymodel.gguf。
2. 在该目录下创建 mymodel.modelfile，输入上述内容并保存。
3. 在 Ollama 创建该模型：

ollama create mymodel -f E:\models\mymodel\mymodel.modelfile

4. 模型创建成功后即可使用。

模型验证与调用

创建模型后，可以通过命令行或 API 进行验证：

命令行测试：

ollama run mymodel "你好，请介绍一下你自己。"

API 调用示例：

curl http://localhost:11434/api/generate -d '{
  "model": "mymodel",
  "prompt": "请用中文回答：什么是人工智能？",
  "stream": false
}'

常见问题排查

1. 显存不足：如果训练过程中出现 OOM（Out Of Memory），请尝试减小 per_device_train_batch_size 或启用 gradient_accumulation_steps。
2. CUDA 版本不匹配：确保安装的 PyTorch 版本与 nvcc -V 显示的 CUDA 版本一致，否则可能导致导入错误。
3. GGUF 转换失败：检查 LoRA 权重路径是否正确，以及基础模型路径是否包含完整的 checkpoint 文件。
4. Ollama 无法启动：检查防火墙设置，确保端口 11434 未被占用或拦截。

通过以上步骤，即可完成从环境搭建、模型微调到本地部署推理的全流程。