多模态大模型垂直微调实战：Qwen3-VL-4B-Thinking 与 Llama Factory

2.2 选型建议

遵循"场景适配优先"原则：

• 企业级中文文档处理：首选 Qwen-VL，备选 Kimi k1.5。
• 代码 + 文档混合场景：首选 Claude 3.5 Sonnet。
• 私有化部署与定制化微调：推荐 InternVL 或 Yi-VL。
• OCR/文档结构化：DeepSeek-OCR 或 Qwen-VL。

三、Qwen3-VL-4B-Thinking 微调实战

本章节基于 Llama Factory 框架，演示如何对 Qwen3-VL-4B-Thinking 进行垂直微调。

3.1 数据集制作

完整优化后的数据集可参考公开资源。以 XFUND 基准为例，其中包含众多表格图片，适合进行图表提取和整理。

1. 构建数据集：使用工具构建数据集，将图片导入管理模块，利用大模型辅助生成问题模版。
   • 编辑问题模版，例如：

   请仔细分析图片中的表单，提取所有字段及其对应值，按照表单的逻辑结构组织成层次化的 JSON 格式返回。要求：1. 识别并提取表单中的所有字段和对应值；2. 根据表单的实际结构，将相关字段归类到适当的子对象中；3. 确保键名清晰准确；4. 生成严格的 JSON 格式，不含任何额外文本；5. 信息提取必须完整、准确。仅返回 JSON 内容。
   

2. 导出与预处理：将导出的 json 文件更名为 qwen3_vl_4B_train.json，手动批量替换图片路径（如将 /images/... 替换为 images/...）。
3. 格式转换：Llama Factory 训练推荐使用 ShareGPT 格式。编写脚本将 Alpaca 格式转换为 ShareGPT 格式。

""" Convert Alpaca format to ShareGPT format for multimodal training. """
import json
import sys

def convert_alpaca_to_sharegpt(input_file, output_file):
    with open(input_file, 'r', encoding='utf-8') as f:
        data = json.load(f)
    converted = []
    for item in data:
        instruction = item.get('instruction', '')
        input_text = item.get('input', '')
        user_content = instruction
        if input_text:
            user_content += '\n' + input_text
        # 添加 <image> token 用于多模态
        user_content = '<image>\n' + user_content
        assistant_content = item.get('output', '')
        messages = [
            {'role': 'user', 'content': user_content},
            {'role': 'assistant', 'content': assistant_content}
        ]
        converted_item = {
            'messages': messages,
            'images': item.get('images', [])
        }
        converted.append(converted_item)
    with open(output_file, 'w', encoding='utf-8') as f:
        json.dump(converted, f, ensure_ascii=False, indent=2)
    print(f"Converted {len(converted)} items from {input_file} to {output_file}")

if __name__ == '__main__':
    if len(sys.argv) != 3:
        print("Usage: python convert_to_sharegpt.py <input_file> <output_file>")
        sys.exit(1)
    convert_alpaca_to_sharegpt(sys.argv[1], sys.argv[2])

运行转换命令：

python convert_to_sharegpt.py qwen3_vl_4B_train.json qwen3_vl_4B_train_converted.json

3.2 环境配置

在云服务器环境中准备基础环境。

1. 配置网络加速：临时修改 DNS 以提升下载速度。

   sudo vim /etc/resolv.conf
   # 删除原有 nameserver 行，添加以下内容
   nameserver 100.90.90.90
   nameserver 100.90.90.100
   

2. 安装 Conda：

   cd ~
   wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
   bash Miniconda3-latest-Linux-x86_64.sh
   # 按提示接受 license 并初始化 conda
   

3. 创建虚拟环境并安装 LlamaFactory：

   conda create --name llama_factory python==3.11
   conda activate llama_factory
   git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
   cd LLaMA-Factory
   pip install -e .
   pip install -r requirements/metrics.txt
   pip install -r requirements/swanlab.txt
   llamafactory-cli version
   

4. 下载基座模型：

   mkdir base_model
   cd base_model
   pip install modelscope
   modelscope download --model Qwen/Qwen3-VL-4B-Thinking --local_dir ./Qwen3-VL-4B-Thinking
   

3.3 数据集注册

将转换后的 json 文件上传至 ~/LLaMA-Factory/data 目录下，并在该目录下新建 images 目录存放图片。

在 dataset_info.json 中注册数据集信息：

{
  "qwen3_vl_4B_train": {
    "file_name": "qwen3_vl_4B_train_converted.json",
    "formatting": "sharegpt",
    "columns": {
      "messages": "messages",
      "images": "images"
    },
    "tags": {
      "role_tag": "role",
      "content_tag": "content",
      "user_tag": "user",
      "assistant_tag": "assistant"
    }
  }
}

3.4 启动 WebUI

进入 LLaMA-Factory 目录启动服务：

cd ~/LLaMA-Factory
nohup llamafactory-cli webui > webui.log 2>&1 &

通过 SSH 客户端的内网穿透功能访问本地 IP 即可使用 WebUI 界面。

3.5 关键训练参数配置

在 WebUI 中选择预览命令并保存配置。以下是关键命令行参数的详细解读：

llamafactory-cli train \
--stage sft \
--do_train True \
--model_name_or_path base_model/Qwen3-VL-4B-Thinking \
--preprocessing_num_workers 16 \
--finetuning_type lora \
--template qwen3_vl \
--flash_attn auto \
--dataset_dir data \
--dataset qwen3_vl_4B_train \
--cutoff_len 2048 \
--learning_rate 5e-05 \
--num_train_epochs 30.0 \
--max_samples 100000 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--max_grad_norm 1.0 \
--logging_steps 5 \
--save_steps 100 \
--warmup_steps 0 \
--packing False \
--enable_thinking True \
--report_to none \
--use_swanlab True \
--output_dir saves/Qwen3-VL-4B-Thinking/lora/train_2026-02-28-17-55-16 \
--bf16 True \
--plot_loss True \
--trust_remote_code True \
--ddp_timeout 180000000 \
--include_num_input_tokens_seen True \
--optim adamw_torch \
--lora_rank 8 \
--lora_alpha 16 \
--lora_dropout 0 \
--lora_target all \
--freeze_vision_tower True \
--freeze_multi_modal_projector True \
--image_max_pixels 589824 \
--image_min_pixels 1024 \
--video_max_pixels 65536 \
--video_min_pixels 256 \
--swanlab_project qwen3vl-4B-ft \
--swanlab_run_name qwen3vl-4B-ft \
--swanlab_workspace xxx \
--swanlab_mode cloud

参数说明：

• --stage sft：监督微调阶段。
• --finetuning_type lora：使用 LoRA 低秩适配技术，节省显存。
• --template qwen3_vl：使用 Qwen3-VL 官方对话模板。
• --enable_thinking True：启用思考模式，保留链式思考能力。
• --freeze_vision_tower True：冻结视觉编码器，只训练语言部分。
• --bf16 True：使用 BF16 混合精度训练，加速计算。
• --lora_rank 8：LoRA 秩设为 8，平衡参数量与效果。

3.6 效果评估与导出

训练完成后，加载检查点路径进行测试。上传图片并输入与训练一致的问题，观察模型是否能按要求输出 JSON 格式。

最后，在 WebUI 中选择模型导出功能，将微调后的权重合并导出，即可部署到生产环境。

![图片说明]

![图片说明]