使用 LlamaFactory 和 LoRA 微调大模型打造个性化聊天机器人

ShareGpt 格式

[
  {
    "conversations": [
      {"from": "human", "value": "user instruction"},
      {"from": "gpt", "value": "model response"}
    ],
    "system": "system prompt (optional)"
  }
]

OpenAI 格式

[
  {
    "messages": [
      {"role": "system", "content": "system prompt"},
      {"role": "user", "content": "user instruction"},
      {"role": "assistant", "content": "model response"}
    ]
  }
]

由于训练集的质量对结果的影响远大于数量，建议不要过于依赖 AI 生成的对话。低质量的 AI 生成数据不仅无益，反而可能引入噪音。实际操作中，建议先人工撰写一部分高质量对话，再结合游戏文本及背景世界观，引导 AI 在此基础上进行分层扩写。对 AI 生成的对话需进行检查，删除或修改明显不符合世界观或人物性格的内容。

下面是一个从 Wiki 源代码提取特定人物文本的脚本示例：

import re

# 复制文本
text = '''...'''

# 使用正则表达式匹配特定格式的对话行
matches = re.findall(r'\[name="普瑞赛斯"\](.*?)\n', text)

# 输出
for i, line in enumerate(matches, 1):
    print(f"{i}. {line}")

数据集准备就绪后，需将其以 JSON 格式存放于 LlamaFactory/data/ 目录下，并在 dataset_info.json 配置文件中完成注册：

"your data": {
  "file_name": "preseries_dataset.json",
  "format": "alpaca",
  "columns": {
    "instruction": "instruction",
    "output": "output"
  }
}

至此，训练前的准备工作已全部完成，可以在 LlamaFactory WebUI 中进行微调了。

四、WebUI 微调配置

4.1 选择微调方法

LlamaFactory 提供了以下几种微调方式：

1. 全参数微调（Full Parameter Fine-Tuning）：更新所有参数，资源消耗大，适用于数据充足且任务差异大的场景。
2. LoRA（Low-Rank Adaptation）：仅训练新增的低秩矩阵参数，冻结原始模型参数。显著减少开销，适合资源受限场景。
3. Freeze（参数冻结）：冻结大部分参数，仅微调部分层，成本低。
4. OFT（正交微调）：通过正交变换约束微调过程，避免灾难性遗忘。

对于聊天机器人的训练，LoRA 是最为推荐的微调方法。原因有三：首先，对话数据具有多轮性特点，LoRA 能有效捕捉对话模式同时保持基座模型通用能力；其次，开发是迭代过程，LoRA 训练速度快便于验证；第三，LoRA 对硬件要求友好，消费级显卡即可运行。

4.2 关键参数设置

• 模型路径：指向之前下载到本地的基座模型路径。
• 对话模板：根据基座模型类型选择相应的模板。
• 学习率：一般可采用默认值 5e-5。
• 训练轮数：数据量小时可适当增加以防止欠拟合。
• 计算类型：推荐使用 bf16，具有较大数值范围，能防止梯度溢出，保证训练稳定性。

其余参数可根据具体需求调整。

4.3 开始微调

启动微调后，网页右下角会显示损失函数曲线。通常损失值越低，效果越好。该过程持续时间取决于硬件性能，若设备性能较差可考虑租用云算力平台。

4.4 模型导出

微调完成后，可在 WebUI 中点击 Chat 加载检查点预览效果。若满意，点击 Export 导出。输入导出路径，基座模型将与 LoRA 权重合并并保存至该路径。

五、格式转换与量化

5.1 转换为 GGUF

导出后的模型通常是 safetensors 格式。若要在 Ollama 本地部署，需先转换为 GGUF 格式。这里使用 llama.cpp 的转换脚本：

# 安装 llama.cpp (Windows)
winget install llama.cpp

# 转换成 gguf 格式
python convert_hf_to_gguf.py models/7B/qwen1_5-7b-chat --outtype f16 --output ./qwen_gguf.gguf

注意：部分旧教程中使用的是 convert-hf-to-gguf.py，目前脚本名已改为下划线连接，具体请以 llama.cpp 目录为准。

5.2 量化处理

得到 fp16 精度的 gguf 文件后，还需进行量化。量化通过降低精度大幅减少显存占用和计算量，同时保持相近效果。

# 将 fp16 精度量化到 q8
./quantize models/7B/qwen1_5-7b-chat-fp16.gguf models/7B/qwen1_5-7b-chat-q8_0.gguf q8_0

至此，我们得到了一个量化后的大模型文件，可以进行本地部署了。

六、Ollama 本地部署

6.1 安装 Ollama

Ollama 是一个开源的大型语言模型交互工具，支持在本地运行多种主流模型。

# Windows 用户直接下载客户端
# Linux 或云平台用户
curl -fsSL https://ollama.com/install.sh | sh

6.2 编写 Modelfile

导入 Ollama 需要准备 gguf 文件和 Modelfile。Modelfile 采用声明式语法描述模型参数及生成规则。

FROM ./ollama-model.gguf
PARAMETER <parameter> <parametervalue>
TEMPLATE """{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user {{ .Prompt }}<|im_end|> {{ end }}<|im_start|>assistant """
SYSTEM """<system message>"""

6.3 导入与运行

准备好文件后即可导入测试：

# 创建模型，名字自定义
ollama create Priestess_q8 -f ./Modelfile

# 查看模型列表
ollama list

# 运行模型
ollama run Priestess_q8

如果一切正常，即完成了本地部署。

七、接入 QQ 机器人

最后，可以使用 Napcat 和 Astrbot 框架接入 QQ。

# 通过 Docker Compose 部署
mkdir astrbot
cd astrbot
wget https://raw.githubusercontent.com/NapNeko/NapCat-Docker/main/compose/astrbot.yml
sudo docker compose -f astrbot.yml up -d

具体详细步骤可参考相关接入文档，最终效果如下：