使用 LlamaFactory 与 LoRA 微调大语言模型打造个性化聊天机器人

OpenAI 格式示例：

[
  {
    "messages": [
      { "role": "system", "content": "system prompt" },
      { "role": "user", "content": "user instruction" },
      { "role": "assistant", "content": "model response" }
    ]
  }
]

由于训练集的质量对结果的影响远大于数量，建议不要过于依赖 AI 生成的对话。低质量的 AI 生成数据不仅无益，反而可能引入噪音。我的思路是：首先人工撰写一部分高质量对话，再结合游戏文本及世界观，引导 AI 在此基础上进行分层扩写。对 AI 生成的对话需做检查，删除或修改不符合世界观或人物性格的内容。

下面是一个从 Wiki 源代码提取特定人物文本的脚本示例：

import re

text = '''...'''
matches = re.findall(r'\[name="普瑞赛斯"\](.*?)\n', text)
for i, line in enumerate(matches, 1):
    print(f"{i}. {line}")

数据集准备就绪后，将其以 JSON 格式存放于 LlamaFactory/data/ 目录下，并在 dataset_info.json 配置文件中完成注册：

{
  "your_data": {
    "file_name": "preseries_dataset.json",
    "format": "alpaca",
    "columns": {
      "instruction": "instruction",
      "output": "output"
    }
  }
}

至此，训练前的准备工作已全部完成。

WebUI 微调实战

1. 选择微调方式

LlamaFactory 提供了以下几种微调方式：

• 全参数微调（Full Parameter Fine-Tuning）：更新所有参数，资源消耗大，适用于数据充足且任务差异大的场景。
• LoRA（Low-Rank Adaptation）：仅训练新增的低秩矩阵参数，冻结原始模型参数。显著减少开销，适合资源受限场景。
• Freeze（参数冻结）：冻结大部分参数，仅微调部分层。成本低，适用于小规模数据。
• OFT（正交微调）：通过正交变换约束微调过程，避免灾难性遗忘。

对于聊天机器人的训练，LoRA 是最为推荐的微调方法。原因有三：一是对话数据具有多轮性和多样性，LoRA 能有效捕捉对话模式而不破坏基座模型的通用语言能力；二是迭代速度快，便于验证新数据效果；三是对硬件要求友好，消费级显卡即可运行。

2. 关键参数设置

• 模型路径：指向之前下载到本地的基座模型。
• 对话模板：根据基座模型类型选择相应的模板（不同模型有不同的对话格式）。
• 学习率：一般可采用默认值 5e-5，平衡收敛速度与精度。
• 训练轮数：数据量小时可适当增加以防止欠拟合。
• 计算类型：推荐使用 bf16，具有较大的数值范围，能防止梯度溢出，保证训练稳定性。

其余参数可根据具体需求调整。

3. 监控与导出

开始微调后，网页右下角会显示损失函数曲线。通常损失值越低，效果越好。该过程耗时取决于硬件性能，若设备性能较差可考虑租用云算力。

微调完成后，先在 Chat 页面加载检查点测试效果。确认无误后，点击 Export 导出。输入导出路径，基座模型将与 LoRA 权重合并并保存。

模型转换与量化

1. 格式转换（safetensors -> gguf）

导出后的模型通常是 safetensors 格式。若要在 Ollama 本地部署，需转换为 gguf 格式。使用 llama.cpp 提供的脚本进行转换：

# 安装 llama.cpp
winget install llama.cpp
# 转换脚本名称注意下划线版本
python convert_hf_to_gguf.py models/7B/qwen1_5-7b-chat --outtype f16 --output ./qwen_gguf.gguf

注意：较新的版本中脚本名为 convert_hf_to_gguf.py，请根据实际目录确认。

2. 量化处理

得到 fp16 精度的 gguf 文件后，可进行量化以降低显存占用。例如量化到 q4 或 q8 精度：

./quantize models/7B/qwen1_5-7b-chat-fp16.gguf models/7B/qwen1_5-7b-chat-q8_0.gguf q8_0

至此，我们得到了一个适合本地部署的量化模型。

本地部署与接入

1. Ollama 部署

Ollama 是一个开源的大型语言模型交互工具，支持在本地运行多种主流模型。

• Windows：直接下载客户端。
• Linux/云平台：

  curl -fsSL https://ollama.com/install.sh | sh
  

导入模型需要准备两个东西：gguf 文件和 Modelfile。Modelfile 用于定义模型参数、依赖项及生成规则。

Modelfile 示例：

FROM ./ollama-model.gguf
PARAMETER <parameter> <parametervalue>
TEMPLATE """{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ if .Prompt }}<|im_start|>user {{ .Prompt }}<|im_end|> {{ end }}<|im_start|>assistant """
SYSTEM """<system message>"""

导入并运行模型：

ollama create Priestess_q8 -f ./Modelfile
ollama list
ollama run Priestess_q8

2. 接入即时通讯工具

若需将模型接入 QQ 等平台，可使用 Napcat 和 Astrbot 框架。通过 Docker Compose 部署较为便捷：

mkdir astrbot
cd astrbot
wget https://raw.githubusercontent.com/NapNeko/NapCat-Docker/main/compose/astrbot.yml
sudo docker compose -f astrbot.yml up -d

具体接入细节可参考相关文档，核心在于将 Ollama 的 API 与机器人框架对接。完成上述步骤后，即可实现本地大模型与社交平台的联动。