多模态 Llama-3 模型微调实战教程

3. 微调过程详解

3.1 配置文件说明

XTuner 支持通过 Python 脚本定义训练配置。关键参数包括：

• Model Path: 指定 Llama3 和 CLIP 的路径。
• LoRA Rank: 低秩适应的秩，影响显存占用与效果。
• Batch Size: 根据显存大小调整。
• Optimizer: 优化器选择，如 AdamW。

3.2 启动训练

我们使用 QLoRA 技术进行高效微调，并开启 DeepSpeed Zero2 以优化显存管理。

cd ~
git clone https://github.com/SmartFlowAI/Llama3-XTuner-CN
mkdir -p ~/project/llama3-ft
cd ~/project/llama3-ft
xtuner train ~/Llama3-XTuner-CN/configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work_dir ~/project/llama3-ft/llava --deepspeed deepspeed_zero2

资源需求：单卡 A100 (80GB) 约需 44GB 显存，预计训练时间 30 分钟。

3.3 模型转换

训练完成后，需将 .pth 权重转换为 HuggingFace 标准格式，以便后续部署。

# 转换 Pretrain 阶段权重
xtuner convert pth_to_hf ~/Llama3-XTuner-CN/configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/llama3-llava-iter_2181.pth \
  ~/project/llama3-ft/llava/pretrain_iter_2181_hf

# 转换 Finetune 后权重
xtuner convert pth_to_hf ~/Llama3-XTuner-CN/configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/project/llama3-ft/llava/iter_1200.pth \
  ~/project/llama3-ft/llava/finetune_iter_1200_hf

4. 效果体验与推理

4.1 命令行推理

使用 xtuner chat 命令加载模型进行测试。

测试问题 1：Describe this image. 测试问题 2：What is the equipment in the image?

xtuner chat ~/Meta-Llama-3-8B-Instruct \
  --visual-encoder ~/clip-vit-large-patch14-336 \
  --llava ~/project/llama3-ft/llava/finetune_iter_1200_hf \
  --prompt-template llama3_chat \
  --image ~/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

4.2 结果对比

• Pretrain 模型：仅能对图片进行简单的标签分类，无法回答具体细节问题。
• Finetune 后模型：能够准确识别图片中的设备，并结合上下文回答用户提问，实现了真正的图文理解。

5. 常见问题与优化建议

5.1 显存不足

若遇到 OOM (Out Of Memory) 错误，可尝试以下方案：

1. 降低 batch_size。
2. 减小 gradient_accumulation_steps。
3. 检查是否开启了正确的 DeepSpeed 配置。

5.2 训练效果不佳

1. 数据质量：确保指令遵循数据的准确性，避免噪声干扰。
2. 学习率：尝试调整学习率，通常 LoRA 微调在 1e-4 到 5e-5 之间。
3. Epoch 数：适当增加 Epoch 或延长训练步数。

5.3 部署建议

微调后的模型可导出为 ONNX 或 TensorRT 格式以提升推理速度。在生产环境中，建议使用 vLLM 或 TGI 等高性能推理服务框架进行部署。

6. 总结

通过 XTuner 框架，开发者可以低成本地实现 Llama-3 等多模态模型的垂直领域微调。本文涵盖了从环境搭建到最终推理的全链路流程。掌握此项技能，有助于在医疗、电商、教育等需要图文交互的场景中构建定制化 AI 应用。