Llama3 中文通用 Agent 微调模型实战教程

关键参数说明

我们将 MLP 和 Embedder 加入了 lora_target_modules。你可以通过指定 --lora_target_modules ALL 在所有 linear 层（包括 qkvo 以及 mlp 和 embedder）加 lora。这通常是效果最好的配置。

训练执行

训练使用 8 卡进行，环境准备完成后，只需要如下命令即可开启训练：

NPROC_PER_NODE=8 \
swift sft \  
--model_type llama3-8b-instruct \  
--dataset ms-agent-for-agentfabric-default alpaca-en ms-bench ms-agent-for-agentfabric-addition coig-cqia-ruozhiba coig-cqia-zhihu coig-cqia-exam coig-cqia-chinese-traditional coig-cqia-logi-qa coig-cqia-segmentfault coig-cqia-wiki \  
--batch_size 2 \  
--max_length 2048 \  
--use_loss_scale true \  
--gradient_accumulation_steps 16 \  
--learning_rate 5e-5 \  
--use_flash_attn true \  
--eval_steps 500 \  
--save_steps 500 \  
--train_dataset_sample -1 \  
--dataset_test_ratio 0.1 \  
--val_dataset_sample 10000 \  
--num_train_epochs 2 \  
--check_dataset_strategy none \  
--gradient_checkpointing true \  
--weight_decay 0.01 \  
--warmup_ratio 0.03 \  
--save_total_limit 2 \  
--logging_steps 10 \  
--sft_type lora \  
--lora_target_modules ALL \  
--lora_rank 8 \  
--lora_alpha 32

参数详解

• --use_flash_attn true: 启用 Flash Attention 技术，显著减少显存占用并加快训练速度。
• --gradient_checkpointing true: 梯度检查点，通过计算换空间，允许在有限显存下训练更大模型。
• --lora_target_modules ALL: 对所有权重矩阵应用 LoRA，相比仅针对 Q/V 投影，能更好地捕捉领域特征。
• --use_loss_scale true: 使用 Loss Scaling 防止数值溢出，特别是在混合精度训练中。

为了提高 ReACT 格式的准确率，我们在训练过程中将部分 loss 字段的权重提高，以保留中文训练中的 agent 能力表现。

推理效果

该模型具备良好的中文问答能力，示例如下：

• 通用问答：能够准确回答涉及历史、科技、生活等领域的中文问题。
• 逻辑题：在处理简单的逻辑推理任务时表现出较好的连贯性。
• 对联与藏头诗：展示了较强的中文文学创作能力。
• 古文翻译：能够将文言文流畅地转换为现代汉语。
• 代码能力：具备基础的代码生成和理解能力，支持常见编程语言。

(注：原文章中的图片链接已移除，此处为功能描述)

评测

我们使用 swift 的 eval 命令对训练模型的前后进行了通用能力评测，结果如下：

从评测结果可以看出，中文 Agent 模型在 CEVAL（中文基准）上保持了较高水平，但在英文数学推理 GSM8K 上略有下降。经过消融实验我们发现去掉 alpaca-en 语料会导致 GSM8K 下降至少十个点以上。因此，在微调中文 Agent 能力时，适当保留英文指令数据有助于维持基础推理能力。

开发者也可以使用 swift 框架对其他模型进行评测，命令非常简单：

swift eval --model_type llama3-8b-instruct --model_id_or_type LLM-Research/Meta-Llama-3-8B-Instruct --infer_backend pt --eval_dataset ceval arc

和 ModelScope-Agent 联用

在 ModelScope-Agent 中使用可以参考官方文档。我们在服务部署后，可以在 AgentFabric 中校验其接口调用效果，以天气查询为例，可以看到模型可以按照 system 要求对查询进行补全。

此外，模型还支持文生图和图片解释等多模态交互能力，体现了 Agent 在复杂任务链中的调度潜力。

待提升工作

1. CoT 能力优化：原版 Llama3 英文模型具备一定的 CoT（思维链）能力，在训练为中文时引入了一定的知识遗忘问题，此问题在后续版本中会继续解决。
2. 英文语料比例调整：需要进一步调整英文语料的比例，以保证原英文能力（如 GSM8K 这类敏感指标）不出现大幅下降。
3. 长上下文支持：未来计划扩展对更长上下文窗口的支持，以处理更复杂的文档分析任务。

常见问题排查

• 显存不足：如果遇到 OOM 错误，请尝试减小 batch_size 或增加 gradient_accumulation_steps，并确保开启了 --use_flash_attn。
• 训练速度慢：检查是否安装了正确的 CUDA 版本，并确认 GPU 利用率是否正常。可以尝试使用 --use_fsdp 进行分布式训练优化。
• 效果不佳：检查数据集格式是否符合 SWIFT 要求的 JSONL 格式，并确认 lora_target_modules 设置是否合理。

总结

本教程详细介绍了基于 SWIFT 框架微调 Llama3 中文 Agent 模型的完整流程。通过合理的语料配比和参数设置，我们可以获得一个既具备中文通用能力又拥有 Agent 任务处理能力的模型。开发者可以根据实际需求，在此基础上进行二次微调，以适应垂直领域的业务场景。