Llama-Factory 微调 Qwen2.5-VL：从数据集制作到模型合并

配置运行后，将会生成推理结果的 JSONL 文件。主要包含图像路径和对应描述。其他任务主要修改以下提示词就可以。 接下来需人工复核图像与 Qwen2.5-VL 描述的一致性。

微调配置

1. 配置 LLaMA-Factory 环境

建议一边测试一边记录，为安全起见，建议使用 Anaconda 建立 LLaMA-Factory 虚拟环境。 （1）克隆 LLaMA-Factory 项目

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

（2）创建虚拟环境

# 使用 conda（推荐）
conda create -n llama-factory python=3.10
conda activate llama-factory
# 或使用 venv
# python -m venv venv
# source venv/bin/activate

（3）安装依赖

pip install -r requirements.txt

2. 转化标签数据格式

目前我们的数据格式大概是：

{"image": "/path/to/image.jpg", "text": "图像描述语句"}

而 LLaMA-Factory 对于多模态大模型的建议数据格式为：

{"images": ["/home/ct/work/Label_tools/PICS/Smoke/Smoke001.png"], "conversations": [{"content": "<image>\n请分析图像中红色矩形框内是否存在吸烟行为，并说明理由。", "from": "user"}, {"content": "红色矩形框中的人在吸烟。", "from": "assistant"}]}

转换脚本如下：

import json

# 读取原始文件
input_file = "/home/ct/work/LLaMA-Factory/inference_results_Smoke.jsonl"
output_file = "/home/ct/work/LLaMA-Factory/smoke_dataset.jsonl"
with open(input_file, 'r', encoding='utf-8') as infile:
    lines = infile.readlines()
# 转换格式
converted_lines = []
for line in lines:
    data = json.loads(line.strip())
    # 构建新的数据结构
    new_data = {
        "images": [data["image"]],
        "conversations": [
            {"content": "<image>\n请分析图像中红色矩形框内是否存在吸烟行为，并说明理由。", "from": "user"},
            {"content": data["text"], "from": "assistant"}
        ]
    }
    converted_lines.append(json.dumps(new_data, ensure_ascii=False) + '\n')
# 写入新文件
with open(output_file, 'w', encoding='utf-8') as outfile:
    outfile.writelines(converted_lines)
print(f"转换完成！已保存到 {output_file}")

3. 启动微调

（1）下载模型 Hugging Face 下载较慢，建议去魔塔社区下载，下载后置于 LLaMA-Factory 根目录下，新建 models 文件夹。

（2）构建 dataset_info.json 在 LLaMA-Factory 的根目录下新建该文件，并写入：

{"smoke_dataset": {"file_name": "smoke_dataset.jsonl", "formatting": "sharegpt", "columns": {"messages": "conversations", "images": "images"}, "tags": {"role_tag": "from", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant"}}}

注意 smoke_dataset 和 smoke_dataset.jsonl 两者需要对应。

（3）启动微调

cd /home/ct/work/LLaMA-Factory
python src/train.py \
--stage sft \
--do_train \
--model_name_or_path /home/ct/work/LLaMA-Factory/models/Qwen2.5-VL-7B-Instruct \
--dataset smoke_dataset \
--dataset_dir . \
--template qwen2_vl \
--finetuning_type lora \
--lora_target all \
--output_dir saves/Qwen2.5-VL-7B-Instruct-lora \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 100 \
--learning_rate 5e-5 \
--num_train_epochs 3.0 \
--plot_loss \
--fp16

生成的权重文件在 LLaMA-Factory 根目录下的 saves 文件夹下。 显存占用约 22GB。

模型合并

在模型微调训练后，会在 saves 文件夹下生成一系列的微调权重文件，我使用的 LoRA 微调。大小在 100～300MB 之间。需要与原始权重文件合并。 可以采用 LLaMA-Factory 和 PyTorch+Transformers 等多种方法进行合并，脚本如下：

# merge_lora_weights.py
import os
import torch
from transformers import AutoModelForVision2Seq, AutoTokenizer, AutoProcessor
from peft import PeftModel

def merge_lora_weights():
    # 配置路径
    base_model_path = "models/Qwen2.5-VL-7B-Instruct"  # 原始模型路径
    lora_weights_path = "saves/Qwen2.5-VL-7B-Instruct-lora/checkpoint-3520"  # LoRA 权重路径
    output_path = "./merged_qwen2.5-vl-finetuned"  # 合并后模型保存路径
    print("Loading base model...")
    base_model = AutoModelForVision2Seq.from_pretrained(
        base_model_path,
        torch_dtype=torch.float16,
        low_cpu_mem_usage=True,
        trust_remote_code=True
    )
    print("Loading LoRA adapter...")
    lora_model = PeftModel.from_pretrained(base_model, lora_weights_path)
    print("Merging weights...")
    merged_model = lora_model.merge_and_unload()
    print("Saving merged model...")
    # 创建输出目录
    os.makedirs(output_path, exist_ok=True)
    # 保存模型
    merged_model.save_pretrained(output_path, safe_serialization=True, max_shard_size="5GB")
    # 保存 tokenizer 和 processor
    tokenizer = AutoTokenizer.from_pretrained(base_model_path, trust_remote_code=True)
    tokenizer.save_pretrained(output_path)
    # 保存 processor（对 VL 模型很重要）
    processor = AutoProcessor.from_pretrained(base_model_path, trust_remote_code=True)
    processor.save_pretrained(output_path)
    print(f"Merged model saved to {output_path}")

if __name__ == "__main__":
    merge_lora_weights()

合并后模型权重大小： 接下来就是测试了。