多模态大模型垂直微调实战：基于Qwen3-VL-4B-Thinking与 Llama Factory的完整指南

文章目录

• 一 多模态大模型
  • 1.1 多模态垂直微调
  • 1.2 微调的意义
• 二 多模态基座模型选择
  • 2.1 多模态模型对比表
  • 2.2 选型建议矩阵
  • 2.3 微调与部署视角选择
• 三 Qwen3-VL-4B-Thinking理解微调（Llama Factory）
  • 3.1 数据集制作
  • 3.2 实验平台租用和基本环境配置
  • 3.3 数据集上传和注册
  • 3.4 启动llama factory和网页访问
  • 3.5 关键训练参数可视化配置
  • 3.6 模型效果使用体验
  • 3.7 模型导出

一 多模态大模型

• 多模态大模型（Multimodal Large Language Model, MLLM）能理解并融合两种或多种模态的信息。
• 模态指信息的表现形式或感知方式。信息类型包括：文字、图像、声音、视频等。

1.1 多模态垂直微调

• 通用多模态模型追求覆盖广泛，通用理解能力，因此通用多模态模型具备基本的视觉理解能力，但对特定领域的专业格式和语义缺乏精确认知。
• 多模态模型微调不仅有助于模型看懂图像，还能帮助模型理解图像的语义逻辑。多模态模型视觉编码器负责看，语言模型负责理解和输出，多模态模型微调的目标是使模型在特定领域语境下正确理解图中的内容。
• 多模态模型微调能够提升模型三个方面的能力：
  • 语义对齐：让模型理解领域专属符号的实际含义。 例：医学报告中的"↑"表示指标偏高，而非箭头符号。
  • 结构化理解：让模型掌握数据的层级关系与布局规律，直接输出结构化结果（如JSON）。例：识别财务报表中"利润总额"与其子项的从属关系。
  • 视觉稳健性：通过接触真实场景样本（模糊、倾斜、印章干扰等），提升对低质量图像的识别稳定性。
  • 核心逻辑：从"看懂文字"到"理解业务含义"，再到"应对真实环境"。

1.2 微调的意义

本质转变：从"人工规则驱动"转向"模型能力驱动"，将文档理解的复杂性内化为模型参数，而非外化为工程代码。

二 多模态基座模型选择

• 多模态模型选择需要考虑的前置条件为输入的数据模态、目标任务、本地化部署需求。

2.1 多模态模型对比表

2.2 选型建议矩阵

2.3 微调与部署视角选择

• 多模态模型的选型应遵循"场景适配优先"原则，而非单纯追求性能最优：

• 企业选型框架：需综合评估输入数据模态、输出结构化要求及部署约束条件，选择兼具适配性、可控性与可扩展性的技术生态，避免盲目追逐前沿指标而忽视落地可行性。

三 Qwen3-VL-4B-Thinking理解微调（Llama Factory）

3.1 数据集制作

• 完整优化后的数据集已上传到modelscope XFUND-Chinese
• XFUND：多语言形式理解基准 1.0 zh.train，其中包含众多表格图片，适合进行图表、图片内容提取和整理。

1. 使用Easy DataSet工具构建数据集，将图片解压后导入Easy DataSet图片管理模块，并使用qwen3.5-plus模型进行数据集构建。关于项目创建和项目模型的配置过程，请自行探索完成。

选择图片，编辑问题模版，填写提问题内容，具体内容如下：

请仔细分析图片中的表单，提取所有字段及其对应值，按照表单的逻辑结构组织成层次化的 JSON 格式返回。要求：1. 识别并提取表单中的所有字段和对应值，包括填写的内容和选择的选项；2. 根据表单的实际结构，将相关字段归类到适当的子对象中；3. 确保键名清晰准确，反映字段的实际含义；4. 生成严格的 JSON 格式，不含任何额外文本；5. 信息提取必须完整、准确，键值对匹配正确。仅返回 JSON 内容。 

3. 将导出的json文件更名为qwen3_vl_4B_train.json，导出的内容中图片路径/images/...，手动批量替换为images/...。（注意这里并非最终llama factory训练使用的格式【存在兼容问题】）

选择导出，格式选择Alpaca格式，并打包图片一块儿导出。

在数据集模块中选择图片问答数据集，进行查看。

[{"instruction":"请仔细分析图片中的表单，提取所有字段及其对应值，按照表单的逻辑结构组织成层次化的 JSON 格式返回。要求：1. 识别并提取表单中的所有字段和对应值，包括填写的内容和选择的选项；2. 根据表单的实际结构，将相关字段归类到适当的子对象中；3. 确保键名清晰准确，反映字段的实际含义；4. 生成严格的 JSON 格式，不含任何额外文本；5. 信息提取必须完整、准确，键值对匹配正确。仅返回 JSON 内容。","input":"","output":"{\n \"基本信息\": {\n \"女方\": {\n \"姓名\": \"胡青\",\n \"联系电话\": \"15548956960\",\n \"公民身份号码\": \"152027199602130556\",\n \"户籍地\": \"北京市潘弓村第一大街656号\",\n \"现居住地\": \"北京市潘弓村第一大街656号\",\n \"工作单位\": \"北京市潘弓村小学\"\n },\n \"男方\": {\n \"姓名\": \"任洪强\",\n \"联系电话\": \"15656658584\",\n \"公民身份号码\": \"152027099602030041\",\n \"户籍地\": \"北京市潘弓村第一大街633号\",\n \"现居住地\": \"北京市潘弓村第一大街656号\",\n \"工作单位\": \"北京市潘弓村医院\"\n }\n },\n \"婚姻状况\": {\n \"婚姻类型\": \"双方初婚\",\n \"结婚时间\": \"2005年11月5日\",\n \"结婚证号\": \"J110105-5689-525846\"\n },\n \"子女情况\": {\n \"子女数量\": {\n \"总数\": \"1个\",\n \"亲生\": \"1个\",\n \"其他\": \"(新开户免填)\"\n },\n \"第一个子女\": {\n \"姓名\": \"任亚杰\",\n \"性别\": \"男\",\n \"出生日期\": \"2006年1月2日\"\n }\n },\n \"妊娠情况\": {\n \"状态\": \"未孕\"\n },\n \"已生育补登记\": {\n \"新生儿姓名\": \"(新开户免填)\",\n \"性别\": \"(新开户免填)\",\n \"孩次\": \"(新开户免填)\",\n \"出生医学证明编号\": \"(新开户免填)\",\n \"出生日期\": \"(新开户免填)\",\n \"健康情况\": \"(新开户免填)\",\n \"出生地点\": \"(新开户免填)\"\n },\n \"声明与承诺\": {\n \"内容\": \"男女双方系合法夫妻，共有1个子女，其中亲生1个。现依法登记生育第2个子女。我们承诺以上所填信息及提供的材料真实有效，如有不实，愿承担相应法律后果。导致违法生育的，同意按最高标准征收社会抚养费。\"\n },\n \"签署信息\": {\n \"承诺人（签名、指纹）\": \"任洪强\",\n \"女方\": \"胡青\",\n \"男方\": \"任洪强\",\n \"代办人\": \"王志刚\",\n \"代办人身份证号及联系方式\": \"152027099602030041\",\n \"日期\": \"2019年1月20日\"\n },\n \"备注\": \"以上内容由登记对象填写\"\n}","images":["images/zh_train_99.jpg"]},

6. 将其转化为sharegpt格式（经过实践验证可以正常训练）

python convert_to_sharegpt.py qwen3_vl_4B_train.json qwen3_vl_4B_train_converted.json 

• convert_to_sharegpt.py

""" Convert Alpaca format to ShareGPT format for multimodal training. """import json import sys defconvert_alpaca_to_sharegpt(input_file, output_file):withopen(input_file,'r', encoding='utf-8')as f: data = json.load(f) converted =[]for item in data:# Build user content with <image> token instruction = item.get('instruction','') input_text = item.get('input','')# Combine instruction and input user_content = instruction if input_text: user_content +='\n'+ input_text # Add <image> token at the beginning for multimodal user_content ='<image>\n'+ user_content # Get assistant response assistant_content = item.get('output','')# Build messages in ShareGPT format messages =[{'role':'user','content': user_content},{'role':'assistant','content': assistant_content}]# Build converted item converted_item ={'messages': messages,'images': item.get('images',[])} converted.append(converted_item)withopen(output_file,'w', encoding='utf-8')as f: json.dump(converted, f, ensure_ascii=False, indent=2)print(f"Converted {len(converted)} items from {input_file} to {output_file}")if __name__ =='__main__':iflen(sys.argv)!=3:print("Usage: python convert_to_sharegpt.py <input_file> <output_file>") sys.exit(1) convert_alpaca_to_sharegpt(sys.argv[1], sys.argv[2])

• 转化后的内容：

[{"messages":[{"role":"user","content":"<image>\n请仔细分析图片中的表单，提取所有字段及其对应值，按照表单的逻辑结构组织成层次化的 JSON 格式返回。要求：1. 识别并提取表单中的所有字段和对应值，包括填写的内容和选择的选项；2. 根据表单的实际结构，将相关字段归类到适当的子对象中；3. 确保键名清晰准确，反映字段的实际含义；4. 生成严格的 JSON 格式，不含任何额外文本；5. 信息提取必须完整、准确，键值对匹配正确。仅返回 JSON 内容。"},{"role":"assistant","content":"{\n \"基本信息\": {\n \"女方\": {\n \"姓名\": \"胡青\",\n \"联系电话\": \"15548956960\",\n \"公民身份号码\": \"152027199602130556\",\n \"户籍地\": \"北京市潘弓村第一大街656号\",\n \"现居住地\": \"北京市潘弓村第一大街656号\",\n \"工作单位\": \"北京市潘弓村小学\"\n },\n \"男方\": {\n \"姓名\": \"任洪强\",\n \"联系电话\": \"15656658584\",\n \"公民身份号码\": \"152027099602030041\",\n \"户籍地\": \"北京市潘弓村第一大街633号\",\n \"现居住地\": \"北京市潘弓村第一大街656号\",\n \"工作单位\": \"北京市潘弓村医院\"\n }\n },\n \"婚姻状况\": {\n \"婚姻类型\": \"双方初婚\",\n \"结婚时间\": \"2005年11月5日\",\n \"结婚证号\": \"J110105-5689-525846\"\n },\n \"子女情况\": {\n \"子女数量\": {\n \"总数\": \"1个\",\n \"亲生\": \"1个\",\n \"其他\": \"(新开户免填)\"\n },\n \"第一个子女\": {\n \"姓名\": \"任亚杰\",\n \"性别\": \"男\",\n \"出生日期\": \"2006年1月2日\"\n }\n },\n \"妊娠情况\": {\n \"状态\": \"未孕\"\n },\n \"已生育补登记\": {\n \"新生儿姓名\": \"(新开户免填)\",\n \"性别\": \"(新开户免填)\",\n \"孩次\": \"(新开户免填)\",\n \"出生医学证明编号\": \"(新开户免填)\",\n \"出生日期\": \"(新开户免填)\",\n \"健康情况\": \"(新开户免填)\",\n \"出生地点\": \"(新开户免填)\"\n },\n \"声明与承诺\": {\n \"内容\": \"男女双方系合法夫妻，共有1个子女，其中亲生1个。现依法登记生育第2个子女。我们承诺以上所填信息及提供的材料真实有效，如有不实，愿承担相应法律后果。导致违法生育的，同意按最高标准征收社会抚养费。\"\n },\n \"签署信息\": {\n \"承诺人（签名、指纹）\": \"任洪强\",\n \"女方\": \"胡青\",\n \"男方\": \"任洪强\",\n \"代办人\": \"王志刚\",\n \"代办人身份证号及联系方式\": \"152027099602030041\",\n \"日期\": \"2019年1月20日\"\n },\n \"备注\": \"以上内容由登记对象填写\"\n}"}],"images":["images/zh_train_99.jpg"]},

3.2 实验平台租用和基本环境配置

使用优云智算上租用单卡A800进行实验。

0. 配置网络加速：临时修改 DNS（立即生效，重启后失效）​。

sudovim /etc/resolv.conf 删除原有nameserver行，添加以下内容 nameserver 100.90.90.90 nameserver 100.90.90.100 

1. 安装mini anaconda

cd ~ wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh 

• 接受 license：输入 yes。
• 安装路径推荐直接按回车（默认在 /home/ubuntu/miniconda3）。
• 初始化 conda：输入 yes。

2. 创建虚拟环境，安装llama factory。

conda create --name llama_factory python==3.11 conda activate llama_factory git clone --depth1 https://github.com/hiyouga/LlamaFactory.git cd LLaMA-Factory pip install-e. pip install-r requirements/metrics.txt pip install-r requirements/swanlab.txt llamafactory-cli version 

2. 模型下载：安装modelscope。

mkdir base_model cd bas_model pip install modelscope modelscope download --model Qwen/Qwen3-VL-4B-Thinking --local_dir ./Qwen3-VL-4B-Thinking 

3.3 数据集上传和注册

1. 将qwen3_vl_4B_train_converted.json上传到/home/ubuntu/LLaMA-Factory/data目录下，在data目录下新建images目录存放所有图片。

(base) ubuntu@10-60-22-22:~/LLaMA-Factory/data$ tree . ├── convert_to_sharegpt.py ├── dataset_info.json ├── qwen3_vl_4B_train.json ├── qwen3_vl_4B_train_converted.json ├── images #图片目录

2. 在dataset_info.json中注册数据集信息。

{"qwen3_vl_4B_train":{"file_name":"qwen3_vl_4B_train_converted.json", "formatting":"sharegpt", "columns":{"messages":"messages", "images":"images"}, "tags":{"role_tag":"role", "content_tag":"content", "user_tag":"user", "assistant_tag":"assistant"}}, "identity":{"file_name":"identity.json"}, 

3.4 启动llama factory和网页访问

cd LLaMA-Factory nohup llamafactory-cli webui > webui.log 2>&1&

虽然优云智算平台提供服务器公网ip，如果不想配置防火墙或者不想将服务暴露到公网，可以使用gmssh客户端的浏览器功能使用内网ip进行访问和使用。

安装使用trae工具，远程链接服务器，输入密码，然后选择LLaMA-Factory目录，进行代码编辑和查阅。

3.5 关键训练参数可视化配置

选择预览预览命令，并保存训练配置，然后点击训练开始即可，大约需要1h。

swanlab登录和日志记录。

llamafactory-cli train \--stage sft \--do_train True \--model_name_or_path base_model/Qwen3-VL-4B-Thinking \--preprocessing_num_workers16\--finetuning_type lora \--template qwen3_vl \--flash_attn auto \--dataset_dir data \--dataset qwen3_vl_4B_train \--cutoff_len2048\--learning_rate 5e-05 \--num_train_epochs30.0\--max_samples100000\--per_device_train_batch_size2\--gradient_accumulation_steps8\--lr_scheduler_type cosine \--max_grad_norm1.0\--logging_steps5\--save_steps100\--warmup_steps0\--packing False \--enable_thinking True \--report_to none \--use_swanlab True \--output_dir saves/Qwen3-VL-4B-Thinking/lora/train_2026-02-28-17-55-16 \--bf16 True \--plot_loss True \--trust_remote_code True \--ddp_timeout180000000\--include_num_input_tokens_seen True \--optim adamw_torch \--lora_rank8\--lora_alpha16\--lora_dropout0\--lora_target all \--freeze_vision_tower True \--freeze_multi_modal_projector True \--image_max_pixels589824\--image_min_pixels1024\--video_max_pixels65536\--video_min_pixels256\--swanlab_project qwen3vl-4B-ft \--swanlab_run_name qwen3vl-4B-ft \--swanlab_workspace xxx \--swanlab_mode cloud 

3.6 模型效果使用体验

• 上传图片，输入问题，尽量保持问题与训练的问题一致。

选择对话，输入检查点路径，然后加载模型。

请仔细分析图片中的表单，提取所有字段及其对应值，按照表单的逻辑结构组织成层次化的 JSON 格式返回。要求：1. 识别并提取表单中的所有字段和对应值，包括填写的内容和选择的选项；2. 根据表单的实际结构，将相关字段归类到适当的子对象中；3. 确保键名清晰准确，反映字段的实际含义；4. 生成严格的 JSON 格式，不含任何额外文本；5. 信息提取必须完整、准确，键值对匹配正确。仅返回 JSON 内容。 

3.7 模型导出