使用 LLaMA-Factory 训练 Qwen2.5-VL 进行目标检测

三、训练流程

1. 模型下载

可通过 ModelScope 或 HuggingFace 下载 Qwen2.5-VL-3B 模型。

modelscope download --model Qwen/Qwen2.5-VL-3B-Instruct --local_dir <本地下载路径>

或使用 Python 脚本：

from modelscope.hub.snapshot_download import snapshot_download
model_id = 'qwen/Qwen2.5-VL-3B-Instruct'
local_dir = '~/llm_models/Qwen2.5-VL'
model_dir = snapshot_download(model_id, cache_dir=local_dir)

2. 数据格式转换

现有目标检测框通常为 LabelMe JSON 格式，需转换为 LLaMA-Factory 兼容的 JSONL 格式。 Qwen2.5-VL 基于 Vision Transformer，输入尺寸需为 28 的倍数。处理时需同时调整图片和标签坐标，保持相对位置不变。 关键注意事项：

• 坐标系统：使用绝对像素坐标。
• 舍入处理：四舍五入到最接近的 28 的倍数。
• 边界保护：防止坐标超出图像边界。

建议在根目录创建数据处理脚本，将图片 resize 到固定尺寸并同步处理标签，生成 train.jsonl。

3. 配置文件修改

修改 dataset_info.json 添加自定义数据集条目：

{
  "train_det": {
    "file_name": "<train.jsonl 路径>",
    "formatting": "sharegpt",
    "columns": {"messages": "messages", "images": "images"},
    "tags": {"role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant"}
  }
}

复制并修改训练 YAML 配置文件：

### model
model_name_or_path: <本地模型绝对路径>
image_max_pixels: 262144
video_max_pixels: 16384
trust_remote_code: true

### method
stage: sft
do_train: true
finetuning_type: lora
lora_rank: 8
lora_target: all

### dataset
dataset: train_det
template: qwen2_vl
cutoff_len: 2048
max_samples: 20000
overwrite_cache: true
preprocessing_num_workers: 16
dataloader_num_workers: 4

### output
output_dir: ./save/train_detect_3B
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true
save_only_model: false
report_to: none

### train
per_device_train_batch_size: 8
gradient_accumulation_steps: 8
learning_rate: 1.0e-5
num_train_epochs: 6.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000
resume_from_checkpoint: null

注意根据显存大小调整 batch size 和学习率。

四、推理与验证

训练结束后得到 LoRA 权重。可脱离 LLaMA-Factory 实现独立推理，包括图片预处理、模型预测及检测框反向映射，以验证检测结果。

五、总结

模型合并及后续推理较为简单，可根据实际需求进一步扩展。通过上述步骤，可实现利用大模型进行目标检测任务的微调与部署。