用 LLaMA-Factory WebUI 微调 Qwen2.5-VL

还要补一份 dataset_info.json，相当于把数据集注册进 LLaMA-Factory：

{
  "pokemon_multimodal": {
    "file_name": "pokemon_sharegpt.json",
    "formatting": "sharegpt",
    "columns": {
      "messages": "conversations",
      "images": "images"
    }
  }
}

这里的 pokemon_multimodal 只是名字，后面在 WebUI 里会直接拿来选。

启动 WebUI

国内网络环境下，模型下载经常会卡在源站访问上，所以我一般先把 ModelScope 打开。

export USE_MODELSCOPE_HUB=1
llamafactory-cli webui

启动后终端会打印访问地址，通常是 http://0.0.0.0:7860。浏览器打开以后，重点看 Train 页签，不用把时间花在其他页上。

训练配置

先选语言，再选模型。这里直接搜 vl，目标是 Qwen/Qwen2.5-VL-3B-Instruct。

下面是训练相关参数。这里没有必要追求'标准答案'，先用一组能跑通、方便观察的值更实际。

配置好以后，先点 Preview command 看一眼生成的命令，再点 Start。我更建议保留这个步骤，很多训练问题其实不是模型问题，是 WebUI 里某个参数和你想的不一致。

训练过程

训练时盯住三个东西就够了：Loss 是否持续下降，学习率曲线是否正常衰减，结束后输出目录里有没有 training_loss.png。曲线太抖、一直不降，通常比'报错退出'更烦，因为它会安静地把一次训练跑废。

常见问题也比较固定：

评估和对话测试

训练完先去 Evaluate 页签看一下。选训练好的 checkpoint，数据集可以先限制到少量样本，比如 100 条，先看个大概，不必一开始就追求完整评测。评估结果会给出 BLEU、ROUGE 这类指标，能粗略判断模型有没有学到东西。

真正更直观的是 Chat 测试：加载适配器，上传一张本地图片，再问一句'请详细描述这只宝可梦的外形、属性和特点。' 然后对比不加载适配器时的回答，差异通常很明显。图像理解这类任务，分数只是参考，实际对话是否贴题更有说服力。

一点实战经验

数据质量比数量更重要，这不是口号。图文对齐不准，模型学到的往往是噪声；样本不多但标注稳定，反而更容易看到效果。

如果要做数据增强，可以把同一张图改写成不同问法，让模型见过更多提问方式：

"这只宝可梦是什么颜色的？<image>"
"分析一下它的战斗特点。<image>"
"它看起来开心还是难过？<image>"

再往后调，比较值得试的是混合数据集、LoRA+，还有只微调语言侧而尽量少动视觉编码器。后两项都不是'必须'，但在一些图像理解不稳定的场景里，它们比盲目加大 rank 更有用。

收尾

这套流程的核心很朴素：先把数据和模板对齐，再用一组保守参数跑通训练，最后靠对话测试和少量评估去修正。多模态微调没有捷径，但也没必要一开始就把参数调得很复杂。能稳定出结果，比看起来'高级'更重要。