基于 LLaMA-Factory 微调 Qwen3-VL 全流程实战
本文旨在详细介绍如何使用 LLaMA-Factory 对多模态大模型(如 Qwen3-VL)进行监督微调(SFT),涵盖环境搭建、数据集构造、训练合并及 vLLM 部署上线的完整链路。
1. 环境准备
克隆项目与依赖安装
推荐直接使用 Git 克隆项目,避免压缩包解压可能带来的路径问题:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
进入项目目录并创建虚拟环境。这里以 Conda 为例,确保 Python 版本为 3.12:
conda create -n llama_env python=3.12
conda activate llama_env
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/
注意:国内用户建议使用清华源加速下载,若遇到构建错误,请检查是否缺少
wheel或setuptools等基础包。
模型下载
从 ModelScope 或 HuggingFace 下载模型权重到本地指定目录。例如下载 Qwen3-VL:
modelscope download --model Qwen/Qwen3-VL-2B-Instruct --local_dir ./qwen3_vl_model
2. 启动微调(LoRA SFT)
在 Linux 环境下,命令行是最高效的操作方式。我们使用官方提供的示例脚本作为起点。
配置训练参数
编辑 examples/train_lora/qwen2_5vl_lora_sft.yaml 文件,根据实际硬件调整以下关键项:
### model
model_name_or_path: /data/hcb/LLaMA-Factory-main/qwen3_vl_model # 替换为你的模型路径
image_max_pixels: 262144
video_max_pixels: 16384
trust_remote_code: true
### method
stage: sft
do_train: true
finetuning_type: lora
lora_rank: 8
lora_target: all


