Qwen2.5-VL 多模态模型 LoRA 微调实战：LLaMA-Factory WebUI 指南

2.3 数据集声明

此文件是数据集的'身份证'，用于向 LLaMA-Factory 注册。

{
  "pokemon_multimodal": {
    "file_name": "pokemon_sharegpt.json",
    "formatting": "sharegpt",
    "columns": {
      "messages": "conversations",
      "images": "images"
    }
  }
}

其中 pokemon_multimodal 是您为该数据集指定的唯一名称，稍后将在 WebUI 中选择。

3. 启动 WebUI 并配置训练

3.1 启动命令

为了加速模型下载，特别是对于国内网络环境，建议设置环境变量。

export USE_MODELSCOPE_HUB=1
llamafactory-cli webui

启动后，终端会显示访问地址（通常是 http://0.0.0.0:7860），在浏览器中打开即可。

3.2 WebUI 训练配置详解

我们将重点关注 Train (训练) 标签页的配置。

模块一：模型与方法 在语言下拉框中选择 zh，在模型名称中搜索 vl，选择 Qwen/Qwen2.5-VL-3B-Instruct。

模块二：训练设置

3.3 开始训练

1. 点击 Preview command 查看生成的等效命令行，便于检查配置。
2. 点击 Start 按钮，日志窗口将实时输出训练信息。

4. 训练过程监控与故障排除

4.1 监控关键指标

• Loss：观察 Loss 值是否持续下降并在后期趋于平稳。
• Learning Rate：根据调度器平滑下降。
• Loss 曲线图：训练结束后在输出目录下生成 training_loss.png，健康曲线应平滑收敛。

4.2 常见问题与解决方案

5. 模型评估与测试

5.1 评估

训练完成后，切换到 Evaluate 标签页。

1. 在 检查点路径 下拉框中选择训练好的模型。
2. 选择数据集，设置较小的最大样本数（如 100）进行快速评估。
3. 点击 开始，评估完成后会给出 BLEU、ROUGE 等量化指标。

5.2 对话测试

这是检验模型效果最直观的方式。

1. 切换到 Chat 标签页。
2. 在 适配器路径 中选中你的模型，点击 加载模型。
3. 上传一张本地图片，输入提示词，如：'请详细描述这只宝可梦的外形、属性和特点。'
4. 观察回答质量。对比原始模型（不加载适配器）的效果差异，感受微调带来的提升。

6. 最佳实践与进阶优化

6.1 数据为王

• 质量优先：确保图文描述精准对应，高质量标注远胜于海量低质量数据。
• 增加多样性：不仅是描述外观，可以加入属性、进化链等多种信息。

数据增强示例：

"这只宝可梦是什么颜色的？<image>"
"分析一下它的战斗特点。<image>"
"它看起来开心还是难过？<image>"

6.2 进阶调优技巧

• 混合数据集：在 WebUI 中同时选择多个数据集，提升泛化能力。
• 使用 LoRA+：在高级设置中勾选并使用，理论上能以相同成本提升性能。
• 调整 LoRA 目标：若图像理解出现问题，可尝试仅微调语言部分，避免改动视觉编码器。

7. 总结

成功的关键在于不断实践。记住以下几点：

1. 高质量的数据是模型效果的基石。
2. 合适的超参数是充分挖掘模型潜力的钥匙。
3. 耐心的调试和对比实验是通往成功的必经之路。

现在，去创造属于你自己的强大图文模型吧！