微调 LLM 构建任务型对话 Agent 方案与实践

对上下文理解能力的增强

在实际对话中，用户通常不会在每个回合都重复提供所有相关信息。相反，他们会根据上下文，利用代词、省略或简化的表述来替代之前已经提及过的内容。为了让对话系统能够正确理解这种上下文依赖的表达方式，我们需要在训练数据中模拟这种用户行为模式。

具体来说，我们将对话分为多个阶段，每个阶段对应不同的任务意图。在后续阶段生成语料时，我们会考虑之前阶段已经提供的槽位信息。如果用户的新问题与之前的问题存在槽位重叠，且该槽位已在先前回合中提供过，那么在生成新问题时，我们将有意识地省略这部分信息，只保留用户需要补充的新信息。

例如，假设用户之前已经询问过「成都市内哪家火锅好吃」，这句话中包含了用户想要了解的位置和餐厅类型两个槽位信息。在后续对话中，如果用户想询问这些餐馆的价格区间，可能会使用「它们的价格大概是多少？」这样的省略式表述，而非重复提供完整的问句。通过模拟这种情况，我们可以增强模型对于上下文依赖的理解能力。

基于 LLM 的对话内容生成

LLM 在这一过程中扮演了至关重要的角色。我们利用 LLM 的强大生成能力来模拟用户的提问和系统的追问，生成接近真实对话的数据。例如，以推荐餐厅这个意图为例，用于生成首问的 Prompt 可以这样写：

prompt = """
你是一个用户，你现在想要「根据自己的位置、兴趣和预算，让智能客服推荐当地的餐厅」，请向智能客服寻求帮助
你的问题需要满足以下几个条件
1. 在问题中需要提到具体的用户当前的区域或希望探索的区域。
2. 在问题中一定不要提到具体的用户感兴趣的餐厅类型，中餐，日料，西餐等。
3. 在问题中一定不要提到具体的用户的最大预算。
请生成一句满足当前的场景和设定的问题
"""

LLM 广阔的知识面为我们提供了丰富的语言资源，支持我们模拟各种场景的对话。此外，LLM 还能够根据上下文生成连贯且逻辑性强的回复，进一步提高了数据集的质量。

通过 RAG 增强生成对话的质量和多样性

在任务型对话 Agent 中，尤其是当涉及到特定业务功能开通的意图时，领域知识会显得十分重要。为了在用户问题中融入这些领域知识，同时保持问题的多样性，我们可以利用 RAG 技术将领域知识附加到 LLM 中。首先，我们构建一个包含所有业务功能的槽位列表，这些功能可能包括各种服务、产品特性或用户可能感兴趣的特定操作。接着，通过随机化的方法，从这个槽位列表中选择一个或多个功能，这一步确保了每次生成的问题都可能关注不同的业务点，增加了对话的多样性。然后，我们设计一个 RAG 模板，这个模板预留了位置来插入特定的业务功能信息。接下来，我们将随机选中的业务功能信息填充到模板中，生成具体的用户问题。

易扩展的意图配置

对于任务型 Agent 来说，对话的目标是一致，即收集足够的信息帮助用户执行任务。我们可以通过一个 YAML 文件来对任务的详细内容和槽位信息进行描述，用户意图增加和减少都可以通过编辑一系列 YAML 配置文件来实现，而无需对有状态转移图或生成流程进行复杂的更改。这种设计提高了本文方案的可扩展性。例如想生成一个根据地点，餐厅类型，最大预算推荐餐厅任务相关的数据集，只需要编写如下配置文件即可：

name: recommend_restaurant 
description: 根据自己的位置、兴趣和预算，让智能客服推荐当地的餐厅
parameters:
  - name: destination
    description: 用户当前的区域或希望探索的区域。
    type: text 
    required: True
  - name: cuisine_type
    description: 用户感兴趣的餐厅类型，中餐，日料，西餐等 
    type: text 
    required: True
  - name: budget
    description: 用户的最大预算
    type: float 
    required: False

目标为任务型对话 Agent 的 LLM 微调

我们选择 LLaMA Factory 作为我们的微调工具，这是一个开源的高效微调框架，专为 LLMs 设计，能够适应各种下游任务，并且兼容大部分主流模型，同时提供一个图形界面 LLaMA Board 帮助用户更友好的执行和管理微调任务。对于本文的任务，对 LLM 按照任务型 Agent 方向进行微调，因为需要学习的知识较少，并且不会对模型整体的回答能力进行大的变化，这里我们采用 LoRA 微调技术对模型进行 SFT。在基础模型的选择上，没有经过指令微调的 Base 模型和有过指令微调后的 Chat 模型（e.g., Qwen 1.5 和 ChatGLM3）都会被纳入选择范围。

LLaMA Factory 支持 Alpaca 和 ShareGPT 两种数据集的格式，这里我们将上面使用蒙卡 + LLM 生成的数据集处理为 ShareGPT 格式。下面就是个 sharegpt 格式包含功能调用内容的数据例子，其中 conversations 中是对话历史，tools 是当前对话中所有可用的工具。

{
  "conversations": [
    {
      "from": "human",
      "value": "I saw a dress that I liked. It was originally priced at $200 but it's on sale for 20% off. Can you tell me how much it will cost after the discount?"
    },
    {
      "from": "function_call",
      "value": "{\"name\": \"calculate_discount\", \"arguments\": {\"original_price\": 200, \"discount_percentage\": 20}}"
    },
    {
      "from": "observation",
      "value": "{\"discounted_price\": 160}"
    },
    {
      "from": "gpt",
      "value": "The dress will cost you $160 after the 20% discount."
    }
  ],
  "tools": "[{\"name\": \"calculate_discount\", \"description\": \"Calculate the discounted price\", \"parameters\": {\"type\": \"object\", \"properties\": {\"original_price\": {\"type\": \"number\", \"description\": \"The original price of the item\"}, \"discount_percentage\": {\"type\": \"number\", \"description\": \"The percentage of discount\"}}, \"required\": [\"original_price\", \"discount_percentage\"]}}]"
}

为了保证不同的意图和槽位能被相对准确的识别到，根据实践经验我们认为训练数据量需要满足意图数 x 槽位数 x 500 的规模。这里我们构造了 5 个任务，分别是根据实时汇率转换货币金额，了解某个地区的习俗和文化特点，根据用户的位置或兴趣，推荐附近的博物馆，根据自己的位置、兴趣和预算，推荐当地的餐厅以及查询去某个目的地的交通方式。每个意图包含 2 至 3 个槽位，共生成了 6000 条左右的数据，覆盖了 5 个任务大部分用户状态变化路径，接下来将对微调训练的部分进行详细的介绍。

微调配置与训练命令

在实际操作中，我们通常使用命令行参数来控制微调过程。以下是一个典型的 LLaMA Factory 训练脚本示例，展示了如何配置 LoRA 参数和数据集路径：

export CUDA_VISIBLE_DEVICES=0
llamafactory-cli train \
    --stage sft \
    --model_name_or_path Qwen/Qwen1.5-7B-Chat \
    --dataset task_dialog_agent \
    --template qwen \
    --finetuning_type lora \
    --lora_target all \
    --output_dir ./outputs/qwen-agent-lora \
    --overwrite_cache \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --learning_rate 1e-4 \
    --num_train_epochs 3.0 \
    --lr_scheduler_type cosine \
    --warmup_ratio 0.1 \
    --fp16 \
    --logging_steps 10 \
    --save_steps 500 \
    --load_in_8bit \
    --plot_loss \
    --do_eval \
    --eval_strategy steps \
    --eval_steps 500 \
    --val_size 0.1 \
    --evaluation_strategy steps \
    --metric_for_best_model loss

此配置使用了 fp16 精度，LoRA Rank 设置为默认值（通常为 8，可根据显存调整），训练 3 个 Epoch。在不使用 flash attention 加速时整个训练过程耗时 1.5h 左右，对于 6B - 7B 的模型，显存占用在 20 - 22G 左右。实验对象包括目前市面上主流的开源模型，ChatGLM3 6B，Qwen 1.5 7B，Yi 6B 系列的 Chat 模型和 Base 模型。

推理部署建议

微调完成后，模型权重通常存储在 output_dir 下。为了在生产环境中部署，建议使用 vLLM 或 TGI 等高性能推理框架。以下是使用 Hugging Face Transformers 进行简单推理的代码示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "./outputs/qwen-agent-lora"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.float16
).eval()

messages = [
    {"role": "user", "content": "我想预订明天从北京到上海的机票"}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

实验结果

在不使用 flash attention 加速时整个训练过程耗时 1.5h 左右，对于 6B - 7B 的模型，显存占用在 20 - 22G 左右。实验对象包括目前市面上主流的开源模型，ChatGLM3 6B，Qwen 1.5 7B，Yi 6B 系列的 Chat 模型和 Base 模型。在额外构造了 100 个验证对话集对模型进行评估之后，这里将微调前的 Qwen 1.5 Chat 模型作为基线对比了不同模型微调后的表现：

💡 ChatGLM3 在 LoRA 微调之后幻觉情况特别严重，无法称之为可用，因此 ChatGLM3 系列的模型暂无法计算具体的性能指标。可能是因为 ChatGLM3 的 Prompt 格式比较特殊，LLaMA Factory 官方没有对 ChatGLM3 进行特殊优化。同时，在 ChatGLM3 的 Repo 中发现官方删除了 ChatGLM3 使用 P-tuning 微调 Agent 的代码，给出的理由是效果较差。关于 ChatGLM3 的 Agent 微调至此作罢，接下来会持续跟踪后续进展。

从对比结果可以发现，经过我们微调后的 Qwen 1.5 Chat 模型在整体性能上表现最佳，相对于 Baseline（微调前的 Qwen 1.5 Chat 模型），除了微调不成功的 ChatGLM3 之外，性能上都有比较显著的提升。Qwen 1.5 的意图召回率略高于 Qwen 1.5 Chat 的原因是 Qwen 1.5 出现幻觉的概率较高，在给出 Tools 之后，没有明显调用工具的提问也较容易触发工具调用。

对比一下 Qwen 1.5 Chat 微调前和微调后的表现，可以明显发现微调后的模型对于槽位的识别方面提升很大，并且还附加了槽位追问的能力。

此外，Agent 对于用户在对话中省略主语时也能正确的识别槽位信息，如下图所示，用户在说「5000 人民币可以在当地还多少钱呢」的时候，模型能够智能的将「当地」和上文中提到的「京都」联系起来，在上下文结合和理解上的表现上比传统的 Rasa-like 对话 Agent 表现的更加智能和灵活，达到了我们的预期水平。

对比经过指令微调的 Chat 模型和没有指令微调过的 Base 模型我们还发现，经过指令微调的 Chat 模型得到的微调反馈最佳，特别是经过 Agent 相关指令微调的 Chat 模型，这主要是这类模型已经使用了大量的 Function Calling 进行训练，我们在此基础上进行微调实际上属于同方向的增量学习，需要 Agent 额外的学习成本更小。

结论

本文提出了一种利用蒙卡方法和 LLM 生成训练数据集，并将其与 LLaMA Factory 框架相结合，高效微调多种语言模型，构建任务型对话 Agent 的新颖方案。该方案不仅保留了大语言模型强大的理解和生成能力，而且显著提高了微调后模型在意图识别、槽位填充等关键任务上的性能表现。

与传统的模块化对话系统相比，本文方法构建的端到端 Agent 架构更加简洁高效，易于部署和维护。实验结果表明，经过微调的语言模型不仅能够准确识别用户意图和关键信息，还能根据上下文理解用户的省略表达，并在必要时主动追问槽位信息，相较于微调前的模型，展现出更强的理解和交互能力，相较于传统的模型，展现出了更多的智能性。

尽管如此，该方案仍然存在一定的缺陷，首先在数据集的构建方面，靠人脑整理的行为状态图很难考虑到所有可能的用户路径，建模的过程十分耗时。在 Agent 微调方面，准确率还有待进一步提高，因为是 E2E 的系统，整体的可控性和可解释性相对较差。未来我们的工作重点将包括，1. 优化数据集生成方法，例如结合蒙特卡罗树搜索（MCTS）和打分模型的方案对对话状态空间进行探索和筛选。2. 进一步优化微调方法、探索提高模型可解释性的技术路线等，以期在保持语言模型强大能力的同时，进一步增强任务型对话 Agent 的性能和可靠性。