Qwen3-VL-4B-Thinking 多模态垂直微调实战：基于 Llama Factory

选型建议：

• 企业级中文文档处理：首选 Qwen3-VL，备选 Kimi k1.5。
• 代码 + 文档混合场景：Claude 3.5 Sonnet 或 GPT-4o。
• 开源可商用：Qwen3-VL 或 InternVL3。
• 端侧/边缘部署：Qwen3-VL-Mobile。

遵循"场景适配优先"原则，避免盲目追求性能指标而忽视落地可行性。

三、Qwen3-VL-4B-Thinking 微调实战

本章节以 Llama Factory 为例，演示如何完成从数据集制作到模型导出的完整流程。

3.1 数据集制作

我们需要构建包含图片和对应指令的数据集。推荐使用 Easy DataSet 工具辅助构建，将图片导入后配置问题模版。

Prompt 示例：

请仔细分析图片中的表单，提取所有字段及其对应值，按照表单的逻辑结构组织成层次化的 JSON 格式返回。要求：1. 识别并提取表单中的所有字段和对应值；2. 根据表单的实际结构，将相关字段归类到适当的子对象中；3. 确保键名清晰准确；4. 生成严格的 JSON 格式，不含任何额外文本；5. 仅返回 JSON 内容。

导出时选择 Alpaca 格式，注意手动批量替换图片路径（如将 /images/... 替换为 images/...），因为不同训练框架对路径的处理方式不同。

Alpaca 格式示例：

[
  {
    "instruction": "请仔细分析图片中的表单...",
    "input": "",
    "output": "{\n \"基本信息\": { ... }\n}",
    "images": ["images/zh_train_99.jpg"]
  }
]

为了适配 Llama Factory 的训练要求，建议将数据转换为 ShareGPT 格式。这里提供一个转换脚本，实际运行时请注意缩进和编码。

""" Convert Alpaca format to ShareGPT format for multimodal training."""
import json
import sys

def convert_alpaca_to_sharegpt(input_file, output_file):
    with open(input_file, 'r', encoding='utf-8') as f:
        data = json.load(f)
    converted = []
    for item in data:
        instruction = item.get('instruction', '')
        input_text = item.get('input', '')
        user_content = instruction
        if input_text:
            user_content += '\n' + input_text
        # 多模态任务需要在内容前添加 <image> token
        user_content = '<image>\n' + user_content
        assistant_content = item.get('output', '')
        messages = [
            {'role': 'user', 'content': user_content},
            {'role': 'assistant', 'content': assistant_content}
        ]
        converted_item = {
            'messages': messages,
            'images': item.get('images', [])
        }
        converted.append(converted_item)
    with open(output_file, 'w', encoding='utf-8') as f:
        json.dump(converted, f, ensure_ascii=False, indent=2)
    print(f"Converted {len(converted)} items from {input_file} to {output_file}")

if __name__ == '__main__':
    if len(sys.argv) != 3:
        print("Usage: python convert_to_sharegpt.py <input_file> <output_file>")
        sys.exit(1)
    convert_alpaca_to_sharegpt(sys.argv[1], sys.argv[2])

转换后的 ShareGPT 格式如下：

[
  {
    "messages": [
      {"role": "user", "content": "<image>\n请仔细分析图片中的表单..."},
      {"role": "assistant", "content": "{\n \"基本信息\": { ... }\n}"}
    ],
    "images": ["images/zh_train_99.jpg"]
  }
]

3.2 实验平台与环境配置

建议使用云算力服务租用单卡 A800 进行实验。环境配置步骤如下：

1. 网络加速：临时修改 DNS 以提升下载速度（重启后失效）。

   sudo vim /etc/resolv.conf
   # 删除原有 nameserver 行，添加以下内容
   nameserver 100.90.90.90
   nameserver 100.90.90.100
   

2. 安装 Conda 环境：

   cd ~
   wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
   bash Miniconda3-latest-Linux-x86_64.sh
   # 按提示接受 license，默认安装路径，初始化 conda
   

3. 创建虚拟环境并安装 Llama Factory：

   conda create --name llama_factory python==3.11
   conda activate llama_factory
   git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
   cd LLaMA-Factory
   pip install -e .
   pip install -r requirements/metrics.txt
   pip install -r requirements/swanlab.txt
   llamafactory-cli version
   

4. 下载基座模型：

   mkdir base_model
   cd base_model
   pip install modelscope
   modelscope download --model Qwen/Qwen3-VL-4B-Thinking --local_dir ./Qwen3-VL-4B-Thinking
   

3.3 数据集上传与注册

将转换好的 JSON 文件上传至 ~/LLaMA-Factory/data 目录，并在同级新建 images 文件夹存放图片资源。目录结构应如下：

data/
├── dataset_info.json
├── qwen3_vl_4B_train_converted.json
├── images/
│   └── zh_train_99.jpg
└── convert_to_sharegpt.py

在 dataset_info.json 中注册数据集信息，确保字段映射正确：

{
  "qwen3_vl_4B_train": {
    "file_name": "qwen3_vl_4B_train_converted.json",
    "formatting": "sharegpt",
    "columns": {
      "messages": "messages",
      "images": "images"
    },
    "tags": {
      "role_tag": "role",
      "content_tag": "content",
      "user_tag": "user",
      "assistant_tag": "assistant"
    }
  }
}

3.4 启动 WebUI 与访问

使用命令行启动 WebUI：

cd LLaMA-Factory
nohup llamafactory-cli webui > webui.log 2>&1 &

若不想暴露公网 IP，可通过 SSH 客户端的内网穿透功能访问本地服务。编辑代码建议使用远程 IDE 工具连接服务器目录。

3.5 关键训练参数配置

在 WebUI 中选择预览命令并保存配置。以下是核心参数说明及推荐配置：

llamafactory-cli train \
--stage sft \
--do_train True \
--model_name_or_path base_model/Qwen3-VL-4B-Thinking \
--preprocessing_num_workers 16 \
--finetuning_type lora \
--template qwen3_vl \
--flash_attn auto \
--dataset_dir data \
--dataset qwen3_vl_4B_train \
--cutoff_len 2048 \
--learning_rate 5e-05 \
--num_train_epochs 30.0 \
--max_samples 100000 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--max_grad_norm 1.0 \
--logging_steps 5 \
--save_steps 100 \
--warmup_steps 0 \
--packing False \
--enable_thinking True \
--report_to none \
--use_swanlab True \
--output_dir saves/Qwen3-VL-4B-Thinking/lora/train_2026-02-28-17-55-16 \
--bf16 True \
--plot_loss True \
--trust_remote_code True \
--ddp_timeout 180000000 \
--include_num_input_tokens_seen True \
--optim adamw_torch \
--lora_rank 8 \
--lora_alpha 16 \
--lora_dropout 0 \
--lora_target all \
--freeze_vision_tower True \
--freeze_multi_modal_projector True \
--image_max_pixels 589824 \
--image_min_pixels 1024 \
--video_max_pixels 65536 \
--video_min_pixels 256 \
--swanlab_project qwen3vl-4B-ft \
--swanlab_run_name qwen3vl-4B-ft \
--swanlab_workspace xxx \
--swanlab_mode cloud

参数解读：

• --stage sft：监督微调阶段。
• --finetuning_type lora：使用 LoRA 技术，节省显存。
• --template qwen3_vl：指定 Qwen3-VL 的对话模板。
• --enable_thinking True：启用思考模式，保留 CoT 能力。
• --freeze_vision_tower True：冻结视觉编码器，只训练语言部分，适合特定任务微调。
• --bf16 True：使用 BF16 混合精度，加速计算且稳定。
• --lora_rank 8：LoRA 秩设为 8，平衡参数量与效果。

训练过程约需 1 小时，可通过实验跟踪工具查看 Loss 曲线变化。

3.6 模型效果评估

训练完成后，加载检查点进行测试。上传图片并输入与训练一致的问题，观察输出是否符合预期的 JSON 格式。

测试 Prompt：

请仔细分析图片中的表单，提取所有字段及其对应值，按照表单的逻辑结构组织成层次化的 JSON 格式返回。

推理参数建议：

• Max Length Token: 1024
• Top-P: 0.7
• Temperature: 0.7

3.7 模型导出

在 WebUI 界面选择导出功能，将微调后的 LoRA 权重合并到基座模型中，即可得到可直接部署的完整模型文件。