llamafactory微调qwen3-vl详细流程

优质文章学习记录

— 9 min read
llamafactory微调qwen3-vl详细流程

llamafactory微调qwen3-vl详细流程

目标：本文讲详细介绍多模态大模型使用llama-factory进行多模态模型微调（sft）的全部流程，以及微调后合并和工业落地部署方案。具体包括：

  1. 环境安装部署
  2. 数据集准备
  3. 启动微调
  4. 模型合并
  5. 模型部署和请求方式(vllm部署)

示例模型：
qwen2.5-vl-instruct qwen3-vl-instruct

环境安装

llama-factory环境准备

方式1 git直接下载

git clone --depth https://github.com/hiyouga/LLaMA-Factory.git

方式2 下载项目压缩包再解压

在这里插入图片描述

python环境安装

  1. python虚拟环境创建
    • conda create --name llama_env python=3.12 (默认已安装好anaconda或者minianaconda)
    • conda activate llama_env # 进入虚拟环境
  2. 安装依赖包
    • cd LLaMA-Factory-main # 进入项目目录
    • pip install -e “.[torch,metrics]” --no-build-isolation -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/
在这里插入图片描述
在这里插入图片描述

下载模型

从modelscope或者huggingface下载模型到指定目录。比如qwen3-vl。

  1. 在当前项目目录打开cmd
  2. 输入modelscope download --model Qwen/Qwen3-VL-2B-Instruct --local_dir ./qwen3_vl_model 将模型下载到models目录下。

​

在这里插入图片描述

启动训练（命令行）

在linux系统上，一般直接使用命令行进行训练、合并、部署。

lora微调步骤-sft任务

​ 先使用默认数据集测试微调流程

​ 在LLaMA-Factory-main目录下：

执行 CUDA_VISIBLE_DEVICES=6 llamafactory-cli train examples/train_lora/qwen2_5vl_lora_sft.yaml开始训练画面：

在这里插入图片描述

vim examples/train_lora/qwen2_5vl_lora_sft.yaml

### model model_name_or_path: /data/hcb/LLaMA-Factory-main/qwen3_vl_model # 模型路径 image_max_pixels: 262144 video_max_pixels: 16384 trust_remote_code: true### method stage: sft do_train: true finetuning_type: lora lora_rank: 8 lora_target: all ### dataset dataset: mllm_demo,identity,alpaca_en_demo # video: mllm_video_demo 默认数据集，项目自带 template: qwen3_vl # 这里要改 cutoff_len: 2048 max_samples: 1000 overwrite_cache: true preprocessing_num_workers: 16 dataloader_num_workers: 4### output output_dir: saves/qwen3vl-2b/lora/sft # lora文件保存路径 logging_steps: 10 save_steps: 500 plot_loss: true overwrite_output_dir: true save_only_model: false report_to: none # choices: [none, wandb, tensorboard, swanlab, mlflow]### train per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 num_train_epochs: 1.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true ddp_timeout: 180000000 resume_from_checkpoint: null ### eval# val_size: 0.1# per_device_eval_batch_size: 1# eval_strategy: steps# eval_steps: 500

​ 训练完成后lora模型存储在配置的目录中：

​

在这里插入图片描述

合并lora模型

微调完成后，需要合并原模型和lora模型。

  1. 执行合并脚本：llamafactory-cli export examples/merge_lora/qwen2_5vl_lora_sft.yaml

编辑合并脚本：vim examples/merge_lora/llama3_lora_sft.yaml

### Note: DO NOT use quantized model or quantization_bit when merging lora adapters### model model_name_or_path: /data/hcb/LLaMA-Factory-main/qwen3_vl_model # 原模型路径 adapter_name_or_path: saves/qwen3vl-2b/lora/sft # lora路径 template: qwen3_vl # 模型格式 trust_remote_code: true### export export_dir: output/qwen3vl_lora_sft export_size: 5 export_device: cpu # choices: [cpu, auto] export_legacy_format: false

​ 合并后的模型保存在配置的存储路径中。

在这里插入图片描述

训练完成。

私有训练数据准备（重要）

目前使用llama-factoy整个流程基本固化，主要就是构造不同的数据集。前面我们使用了官方提供的数据集进行了训练。现在我们构造自己的私有数据集，还是以文本类sft任务为例。

了解data目录和dataset_info.json文件

制作训练数据集，要先认识data目录以及dataset_info.json文件。LLaMA-Factory-main主目录下有一个data目录用来存放数据集文件以及数据集配置文件(dataset_info.json)。

对于我们前面使用的训练数据dataset: mllm_demo，我们可以在dataset_info.json中找到注册记录，如下图：

在这里插入图片描述

其对应的具体文件就是file_name指向的文件名，即data目录下的mllm_demo.json文件。其格式如下：

在这里插入图片描述

我们可以仿照这个格式构造自己的sft任务的数据集。

详细构造自己的sft数据集

LLama-Factoy支持的多种任务的数据集格式都在：https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README.md

多模态-图像 构造sharegpt格式参考：

在这里插入图片描述
在这里插入图片描述
  1. 将改造好的训练集文件tab_reg_samples.json文件放到LLaMA-Factory-main/data目录下

在dataset_info.json文件中注册tab_reg_samples.json数据集。具体如下：

在这里插入图片描述

LLaMA-Factory-main/data新建图片存放目录table_reg(与数据集中images下的路径一致)。将数据集中用到的图片上传到table_reg目录下。

在这里插入图片描述

我们需要把自己的数据使用脚本改造成上面的json格式。构造了一个根据图片识别其中表格的数据集。提示词中需要添加图像的占位符 然后在images列表中添加图片的具体路径。（可以添加多个图片。）

在这里插入图片描述

开始训练

数据集配置完成后，在examples/train_lora/qwen2_5vl_lora_sft.yaml训练脚本中直接引入数据集。只修改dataset:部分。

项目主目录下执行 vim examples/train_lora/qwen2_5vl_lora_sft.yaml

### model model_name_or_path: /data/hcb/LLaMA-Factory-main/qwen3_vl_model # 模型路径 image_max_pixels: 262144 video_max_pixels: 16384 trust_remote_code: true### method stage: sft do_train: true finetuning_type: lora lora_rank: 8 lora_target: all ### dataset dataset: table_reg # 注册的数据集名称 template: qwen3_vl cutoff_len: 2048 max_samples: 1000 overwrite_cache: true preprocessing_num_workers: 16 dataloader_num_workers: 4### output output_dir: saves/qwen3vl-2b_table/lora/sft # lora文件保存路径 logging_steps: 10 save_steps: 500 plot_loss: true overwrite_output_dir: true save_only_model: false report_to: none # choices: [none, wandb, tensorboard, swanlab, mlflow]### train per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 num_train_epochs: 1.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true ddp_timeout: 180000000 resume_from_checkpoint: null ### eval# val_size: 0.1# per_device_eval_batch_size: 1# eval_strategy: steps# eval_steps: 500

修改完成后执行训练：

CUDA_VISIBLE_DEVICES=6 llamafactory-cli train examples/train_lora/qwen2_5vl_lora_sft.yaml

在这里插入图片描述

后续合并步骤完全一样。

其他任务数据构造

ing…

模型部署

llama-factory也支持基本的模型部署，但是很多时候我们需要以接口调用的形式来使用大模型能力，常见的有ollma、vllm、sglang等方式，为了支持产品落地支持高并发，我们一般使用vllm部署模型，基于openai风格进行接口调用。下载详细介绍一下使用vllm部署模型并请求。

vllm安装

在当前虚拟环境中执行：pip install vllm==0.11.0 -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/

在这里插入图片描述

服务启动命令（openai标准）

直接启动我们上面微调合并后的模型：

# 启动 vLLM OpenAI 兼容 API 服务器# 核心功能：将指定大模型以 OpenAI API 格式暴露服务，支持高并发、低延迟推理exportCUDA_VISIBLE_DEVICES=6# 指定使用哪个gpu python -m vllm.entrypoints.openai.api_server \ --host 0.0.0.0 \# 绑定所有网络接口，允许外部机器访问（仅内网环境建议使用） --port 8003\# API 服务监听端口，客户端通过该端口调用（自定义） --model /data/hcb/LLaMA-Factory-main/output/qwen3vl_lora_sft \# 模型文件本地路径 --served-model-name qwen3_vl \# 对外暴露的模型名称（客户端调用时指定该名称） --trust-remote-code \# 信任模型仓库中的自定义代码（部分模型需要自定义加载逻辑） --dtype float16 \# 模型推理数据类型（float16 平衡性能和精度，适配多数GPU） --gpu-memory-utilization 0.8\# GPU 显存利用率上限（根据实际情况调整） --tp 1\# 张量并行度（1 表示单卡推理，多卡时需调整为显卡数量）# 上面是命令介绍 可以直接用下面这行启动CUDA_VISIBLE_DEVICES=6 python -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 8003 --model /data/hcb/LLaMA-Factory-main/output/qwen3vl_lora_sft --served-model-name qwen3_vl --trust-remote-code --dtype float16 --gpu-memory-utilization 0.8

启动成功：

在这里插入图片描述

服务请求

代码请求
""" @version: python3.9 @author: hcb @software: PyCharm @file: multimodal_request.py @time: 2025/11/15 07:20 """import openai import base64 import os from openai import OpenAI defencode_image(image_path):"""将图像文件编码为base64"""withopen(image_path,"rb")as image_file:return base64.b64encode(image_file.read()).decode('utf-8')defmultimodal_chat(image_path=None, text_prompt="描述这张图片"):""" 多模态聊天请求 Args: image_path: 图像文件路径 text_prompt: 文本提示 """ client = OpenAI( api_key="Empty", base_url="http://10.10.185.9:8803/v1/"# 你的vLLM服务器地址和端口)# 构建消息内容 messages =[{"role":"system","content":"你是一个多模态智能助手，可以理解和分析图像内容。"}]# 如果有图像，添加多模态内容if image_path and os.path.exists(image_path): base64_image = encode_image(image_path) user_content =[{"type":"text","text": text_prompt },{"type":"image_url","image_url":{"url":f"data:image/jpeg;base64,{base64_image}"}}]else:# 如果没有图像，只发送文本 user_content = text_prompt messages.append({"role":"user","content": user_content }) payload ={"model":"qwen3_vl",# 你设置的模型名称"messages": messages,"temperature":0.1,"max_tokens":2000}print("请求payload结构:")print(f"- 模型: {payload['model']}")print(f"- 消息数量: {len(payload['messages'])}")if image_path:print(f"- 包含图像: {image_path}")print(f"- 提示词: {text_prompt}")try:# 发送请求 response = client.chat.completions.create(**payload, timeout=30# 多模态请求可能需要更长时间)return response except Exception as e:print(f"请求失败: {e}")returnNoneif __name__ =="__main__":# 直接测试特定图片 image_path =r"C:\Users\15941\Desktop\临时\副业\宠物\狗头舔脚\2.png"# 修改为你的图片路径 prompt ="描述这张图片中有什么"if os.path.exists(image_path):print(f"正在分析图片: {image_path}") res = multimodal_chat(image_path=image_path, text_prompt=prompt)if res and res.choices:print("\n模型回复:")print(res.choices[0].message.content)else:print("请求失败")

结果：

在这里插入图片描述

Read more

【保姆级教程】无成本零门槛安装配置OpenClaw龙虾AI全能助手

【保姆级教程】无成本零门槛安装配置OpenClaw龙虾AI全能助手

哈喽大家好！最近爆火的 OpenClaw（龙虾AI）全能助手大家体验了吗？它不仅能帮你自动整理邮件、查询天气，还能全自动写小红书笔记并发布，简直是打工人和自媒体人的摸鱼神器！ 很多小伙伴想玩但又怕配置太复杂、花销太大。今天给大家带来一篇零门槛、保姆级的安装配置教程！教你如何低成本获取云服务器，轻松实现 AI 大模型自由。全程图文指引，小白也能轻松搞定，赶紧跟着操作起来吧！ 一、获取云服务器 想要畅玩 OpenClaw，首先我们需要一个服务器。这次教大家如何获取腾讯云轻量服务器来进行配置。 ⏰ 活动时间：2026年1月21日 - 3月31日 腾讯推出了登录 CodeBuddy 送 2C2G4M 轻量服务器的限时活动：登录先送1个月，活跃7天再送2个月。 👉 【官方地址】：https://www.codebuddy.cn/promotion/?ref=ie2rwhd1loq 根据页面提示安装好软件并登录账号后，直接选择一个月的轻量应用服务器即可。 之后只要累计活跃7天就能续费两个月（每天和 AI
收藏！只为就业：纯LLM、多模态大模型、AIGC该选哪条路？

收藏！只为就业：纯LLM、多模态大模型、AIGC该选哪条路？

这绝对是2025年计算机应届生及算法方向求职者最焦虑的问题，没有之一。 过去几年，我从一线技术面试官做到团队负责人，面过的候选人从海外大厂博士到985硕士，累计不下八百人。聊得多了，也摸清了行业招聘的底层逻辑，今天就抛开虚言，从实战角度给大家盘清这三条赛道的利弊。 我不跟大家扯虚无的行业报告、千亿级市场规模这些空话——这些数据对普通人找工作毫无意义。核心只从「看简历、面候选人、拍板发offer」的一线视角，帮你判断哪条路更适合长期就业、薪资更高、更难被替代。 先定时间坐标：2026年1月。 大模型领域技术迭代太快，去年的最优解今年可能就成了内卷重灾区，这个时间点的行业现状，对求职决策至关重要。 先给结论，不绕弯子：优先all in多模态大模型 如果你的目标是拿下高质量算法岗，追求长期职业价值、低替代风险和高薪资天花板，别犹豫，直接深耕多模态领域。至于为什么这个方向是最优解，我把逻辑拆透，大家听完自己判断。 先看清三条赛道的真实现状 1. 纯语言大模型（LLM）：基建化定型，算法岗内卷加剧 2025年的纯LLM领域，核心特征就四个字：基建化、工程化。现在想从零训练一个
从思考到实现：在 VS Code 中集成 MiniMax M2.1，解锁 AI 编程新范式

从思考到实现：在 VS Code 中集成 MiniMax M2.1，解锁 AI 编程新范式

在 AI 辅助编程（AI Coding）百家争鸣的今天，开发者们一直在寻找那个既能理解复杂逻辑、又能精准产出代码的“神队友”。最近，MiniMax M2.1 凭借其独特的 Interleaved Thinking（交错思考） 机制，在编程圈引起了广泛关注。 为什么选择 MiniMax 进行编程？ 1. 逻辑严密的“交错思考”：不同于普通模型直接输出代码，M2.1 会先在 <think> 标签内进行深度推理，分析架构后再下笔，极大地减少了逻辑断层。 2. 超大上下文支持：在处理大型项目或重构复杂函数时，M2.1 能够精准捕捉全局上下文信息。 3. 极速中文理解：作为国产大模型的佼佼者，它在中文注释理解和响应速度上有着天然优势，拒绝“小作文”式的废话。 选购指南：主流
【AI】高效交互的艺术：AI提示工程与大模型对话指南

【AI】高效交互的艺术：AI提示工程与大模型对话指南

🔥小龙报：个人主页 🎬作者简介：C++研发，嵌入式，机器人等方向学习者 ❄️个人专栏：《AI》 ✨ 永远相信美好的事情即将发生 文章目录 * 前言 * 一、ChatatGPT介绍 * 二、什么是提示工程？ * 三、大语言模型的底层原理 * 四、AI的相关术语 * 五、如何与AI（以ChatatGPT为例）更好交流 * 5.1 使用AI的核心 * 5.2 提示组成结构 * 5.3 创建好的提示的策略 * 5.4 提示的类别 * 5.5 创建在和AI提示的进阶框架 * 5.6如何减少AI回答的空洞无味感 * 5.7 如何提高AI回答的可读性 * 六、使用AI的更多技巧 * 6.1 高效提示的原则 * 6.