使用 LLaMA-Factory 训练 Qwen2.5-VL 进行目标检测任务

在 examples/qwen2_5vl_lora_sft.yaml 中的 dataset: mllm_demo。

三、使用 LLaMA-Factory 训练目标检测

1. Qwen2.5-VL-3B 的下载

使用 ModelScope 下载 Qwen2.5-VL-3B 模型。首先确定虚拟环境中安装了 modelscope。

方式一：

modelscope download --model Qwen/Qwen2.5-VL-3B-Instruct --local_dir [本地下载路径]

方式二：

from modelscope.hub.snapshot_download import snapshot_download

# 定义模型 ID 和本地目标路径
model_id = 'qwen/Qwen2.5-VL-3B-Instruct'
local_dir = '~/llm_models/Qwen2.5-VL'

# 下载模型
model_dir = snapshot_download(model_id, cache_dir=local_dir, revision='master')
print(f"模型已下载至：{model_dir}")

2. 训练数据的格式转换

已有的目标检测框保存的格式为 LabelMe 的 JSON 格式。现在需要将该种标签转换成与 mllm_demo 一致的数据格式。

一般的数据处理，仅在生成训练时需要的 jsonl 时，使用官方提供的 smart_resize 获取图片 resize 后应该有的尺寸，使用该尺寸处理检测框，无需 resize 图片。图片的 resize 操作，放在工程的图像预处理中。

但这里为了尽可能减少出错的可能性，同时处理了图片和标签，将训练的图片和标签一开始就对齐，保存到新的路径下。

图像与边界框的协同处理

Qwen2.5-VL 使用 Vision Transformer 架构需要将图片分割成 28×28 的 patch，输入尺寸必须是 28 的倍数。固定尺寸便于批处理避免内存溢出（通过 max_pixels 限制），避免太小影响效果（通过 min_pixels 保证）。

保持空间关系：相对位置不变。如果原始框在图片中心，缩放后仍在中心。 相对大小不变：框与图片的比例关系保持不变。

注意：由于需要同时满足'能被 28 整除'和'保持宽高比'这两个要求，在实际操作中存在内在矛盾。当原始图片尺寸不是 28 的倍数时，完美保持宽高比在数学上是不可能的。因此，smart_resize 函数采取了一种近似保持的策略：

1. 分别调整：将高度和宽度分别四舍五入到最接近的 28 的倍数。
2. 轻微形变：接受由此产生的轻微纵横比变化（通常在 1-3% 范围内）。
3. 权衡选择：相较于填充法（增加无效像素）或裁剪法（丢失图像信息），这种轻微形变是更好的权衡。这种处理在保持图像主要内容不变的同时，确保了模型输入要求。

关键注意事项： a. 坐标系统：始终是绝对像素坐标，不是相对坐标（百分比）。 b. 舍入处理：使用 round() 四舍五入，可能引入 1 像素误差。 c. 边界保护：防止坐标超出图像边界。 d. 保持有效性：确保转换后仍然是有效的矩形（x2≥x1, y2≥y1）。

为了工程的可观整洁，在根目录创建文件夹【LL_own】。创建数据处理脚本【LL_own/data_deal.py】，在实验阶段，尽可能的保持问题可控性，我将图片 resize 到固定的、模型可接受的尺寸，同时将标签同等映射处理。具体实现如下：

生成文件【LL_own/qwen_det2/train.jsonl】【LL_own/qwen_det2/resized_imgs/*】。jsonl 文件可用于模型训练。

生成的数据结束后，进行可视化。

3. 配置文件的修改

如第二章节介绍，我们需要修改两个文件内的配置。

data/dataset_info.json

{
    "train_det": {
        "file_name": "/home/LL/workfile_2026/12-QwenVL/LLaMA-Factory/LL_own/qwen_det2/train.jsonl",
        "formatting": "sharegpt",
        "columns": {
            "messages": "messages",
            "images": "images"
        },
        "tags": {
            "role_tag": "role",
            "content_tag": "content",
            "user_tag": "user",
            "assistant_tag": "assistant"
        }
    }
}

examples/train_lora/qwen2_5vl_lora_sft.yaml

复制文件：

cp examples/train_lora/qwen2_5vl_lora_sft.yaml examples/train_lora/qwen2_5vl_own.yaml

修改文件：

### model
model_name_or_path: /home/LL/llm_models/Qwen2.5-VL/Qwen/Qwen2___5-VL-3B-Instruct
image_max_pixels: 262144
video_max_pixels: 16384
trust_remote_code: true

### method
stage: sft
do_train: true
finetuning_type: lora
lora_rank: 8
lora_target: all

### dataset
dataset: train_det
template: qwen2_vl
cutoff_len: 2048
max_samples: 20000
overwrite_cache: true
preprocessing_num_workers: 16
dataloader_num_workers: 4

### output
output_dir: ./LL_own/save/train_detect_3B
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true
save_only_model: false
report_to: none

### train
per_device_train_batch_size: 8
gradient_accumulation_steps: 8
learning_rate: 1.0e-5
num_train_epochs: 6.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000
resume_from_checkpoint: null

### eval
# val_size: 0.1
# per_device_eval_batch_size: 1
# eval_strategy: steps
# eval_steps: 500

纵横比不变：不会发生形变。

计算效率考虑： 约束 2: 像素总数在指定范围内。 min_pixels = 56×56 = 3,136 像素 max_pixels = 14×14×4×1280 = 1,003,520 像素 检查像素数：644×420 = 270,480 像素，在 3136 和 1003520 之间。 最终尺寸：644×420 像素。

模型输入要求： 约束 1: 能被 factor 整除。调整后的尺寸必须是 28 的倍数。 这是因为 Vision Transformer 使用 28×28 的 patch。 new_height % 28 == 0、new_width % 28 == 0 round(640/28)×28 = 23×28 = 644（宽度） round(428/28)×28 = 15×28 = 420（高度）

四、训练好的模型的推理

训练结束后，得到 LoRA 模型。为了方便后续的使用，所以实现了脱离 LLaMA-Factory 的推理。图片的 resize 送进大模型推理，预测结果解析，检测框的反向映射，可得到正确的检测结果。

五、其他

模型合并、合并后的推理，都比较简单，就不记录了。