基于 LLaMA-Factory 的 GLM-4-9B-Chat LoRA 微调实战

数据处理：构建高质量训练样本

LLaMA-Factory 支持多种数据格式，其中最常用的是 Alpaca 格式，它结构清晰且兼容性强。标准模板如下：

[
  {
    "instruction": "请解释什么是机器学习",
    "input": "",
    "output": "机器学习是……",
    "system": "你是一位人工智能助手",
    "history": [
      ["上一轮问题", "上一轮回答"]
    ]
  }
]

字段含义明确： - instruction 和 output 是必填项； - system 控制角色设定； - history 支持多轮上下文建模。

单轮数据转换

假设原始数据为包含 "prompt" 和 "completion" 字段的 JSON 列表，可通过以下脚本完成转换：

import json
import re

file_name = "my_single_turn_data.json"
system_prompt = "你是一个专业且富有同理心的 AI 助手"

with open(f"./raw/{file_name}", "r", encoding="utf-8") as f:
    raw_data = json.load(f)

converted = []
for item in raw_data:
    output_text = item["completion"]
    if "✿" in output_text:
        output_text = output_text.replace("✿", "")
    if "你好，我是 AI 助手" in output_text:
        output_text = re.sub(r"^.*?\n", "", output_text).strip()
    converted.append({
        "instruction": item["prompt"],
        "input": "",
        "output": output_text,
        "system": system_prompt,
        "history": []
    })

with open(f"./processed/{file_name}", "w", encoding="utf-8") as f:
    json.dump(converted, f, ensure_ascii=False, indent=4)
print(f"✅ {file_name} 已转换完成")

这类清洗逻辑很常见——比如去除冗余引导语或特殊符号，能显著提升训练稳定性。

多轮对话提取

对于客服记录、访谈等多轮文本，关键是把历史对话作为上下文输入。示例代码如下：

import json
from tqdm import tqdm

file_name = "multi_turn_conversations.json"
system_prompt = "你是一个耐心、专业的对话助手"

with open(f"./raw/{file_name}", "r", encoding="utf-8") as f:
    conversations = json.load(f)

converted = []
for conv in tqdm(conversations):
    dialogue = conv.get("conversation", [])
    if len(dialogue) < 1:
        continue
    history = [(turn["input"], turn["output"]) for turn in dialogue[:-1]]
    last_turn = dialogue[-1]
    converted.append({
        "instruction": last_turn["input"],
        "input": "",
        "output": last_turn["output"],
        "system": system_prompt,
        "history": history
    })

with open(f"./processed/{file_name}", "w", encoding="utf-8") as f:
    json.dump(converted, f, ensure_ascii=False, indent=4)
print(f"✅ 多轮数据 {file_name} 转换完成")

这种设计能让模型学会基于上下文生成连贯回复，而不是每次都'失忆'。

数据集合并与注册

多个来源的数据可以统一合并成一个主文件：

import json

merged = []
dataset_files = [
    "single_turn_dataset_1.json",
    "single_turn_dataset_2.json",
    "multi_turn_conversations.json",
    "custom_instruction_tuning.json"
]

for fname in dataset_files:
    with open(f"./processed/{fname}", "r", encoding="utf-8") as f:
        data = json.load(f)
    merged.extend(data)

with open("./processed/combined_training_data.json", "w", encoding="utf-8") as f:
    json.dump(merged, f, ensure_ascii=False, indent=4)
print("🎉 所有数据集已合并为 combined_training_data.json")

然后将其注册到 LLaMA-Factory 中。编辑 data/dataset_info.json 添加条目：

{
  "my_glm4_ft_data": {
    "file_name": "/path/to/LLaMA-Factory/data/processed/combined_training_data.json"
  }
}

✅ 提示：路径可以是绝对路径，也可以是相对于 data/ 目录的相对路径。

启动训练：配置 LoRA 微调任务

在项目根目录创建 YAML 配置文件 lora_sft_glm4.yaml：

# 模型参数
model_name_or_path: /root/models/ZhipuAI/glm-4-9b-chat
# 训练任务类型
stage: sft
# Supervised Fine-Tuning
do_train: true
finetuning_type: lora
# 使用 LoRA
# LoRA 配置
lora_target: all
# 应用于所有线性层（Q, K, V, O, FFN）
lora_rank: 64
# 秩越高表达能力越强，但参数更多
lora_dropout: 0.05
# 正则化防止过拟合
lora_alpha: 16
# 缩放因子，一般设为 rank 的两倍左右
# 数据配置
dataset: my_glm4_ft_data
template: glm4
# 使用官方 GLM 分词模板
cutoff_len: 2048
# 最大序列长度
max_samples: 5000
# 限制样本数便于调试
overwrite_cache: true
preprocessing_num_workers: 16
# 输出设置
output_dir: saves/glm4-lora-sft/checkpoint
logging_steps: 10
save_strategy: epoch
plot_loss: true
overwrite_output_dir: true
# 训练超参
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1e-4
num_train_epochs: 5
lr_scheduler_type: cosine
warmup_ratio: 0.1
fp16: true
# 混合精度训练，节省显存

几个关键点值得强调： - lora_target: all 表示同时适配注意力层和前馈网络，适合复杂任务； - fp16: true 在 A10/A100 上几乎无损还能减半显存占用； - gradient_accumulation_steps: 8 相当于全局 batch size 达到 8，有助于梯度稳定。

启动训练只需一条命令：

cd LLaMA-Factory
llamafactory-cli train lora_sft_glm4.yaml

训练过程中终端会实时显示 loss 变化，同时日志也会写入 runs/ 目录，可用 TensorBoard 查看：

tensorboard --logdir=runs

权重合并：导出可部署模型

训练结束后得到的只是一个 LoRA 适配器，不能独立运行。我们需要将其与原模型融合成一个完整的 .bin 文件。

新建 export_glm4_lora.yaml：

model_name_or_path: /root/models/ZhipuAI/glm-4-9b-chat
adapter_name_or_path: saves/glm4-lora-sft/checkpoint
template: glm4
finetuning_type: lora
export_dir: models/EmoGLM-4-9B-Chat
export_size: 2
export_device: cpu
export_legacy_format: false

执行合并：

llamafactory-cli export export_glm4_lora.yaml

💡 建议使用 CPU 合并，避免 GPU 显存溢出；虽然慢一些，但更可靠。

完成后，models/EmoGLM-4-9B-Chat 目录将包含标准 Hugging Face 模型结构，可直接用于推理。

效果验证：快速测试生成质量

编写简单脚本验证模型表现：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "models/EmoGLM-4-9B-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map="auto")

query = "你能帮我写一首关于春天的诗吗？"
inputs = tokenizer(query, return_tensors="pt").to("cuda")
outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

观察输出是否体现出更强的风格一致性或领域倾向。如果明显优于原始模型，说明微调有效。

实战优化技巧与进阶建议

即使流程跑通了，仍有许多细节可以打磨。以下是我在实际项目中总结的一些经验：

此外，LLaMA-Factory 还内置了 WebUI 界面，适合不熟悉命令行的用户：

llamafactory-cli webui

访问 http://localhost:7860 即可通过图形界面上传数据、调整参数、启动训练，完全免去手写 YAML 的繁琐。

真正有价值的技术，不是最难懂的，而是最容易落地的。LLaMA-Factory 正是这样一个工具——它把复杂的分布式训练、内存优化、分词策略封装成简单的接口，让我们能把精力集中在数据质量和业务逻辑上。

无论是打造情感陪伴机器人、垂直行业问答系统，还是构建企业级智能体，这套方法都能帮你用极低成本迈出第一步。下一步，不妨试试用 QLoRA 在消费级显卡（如 RTX 3090/4090）上跑通整个流程，再接入 FastAPI 或 Gradio 构建服务接口，真正实现'让大模型为我所用'。