LLaMA-Factory微调多模态大模型Qwen3-VL

Ne0inhk

— 9 min read
LLaMA-Factory微调多模态大模型Qwen3-VL

LLaMA-Factory微调多模态大模型Qwen3-VL

目录

LLaMA-Factory微调多模态大模型Qwen3-VL

1. 显卡驱动

2. 模型微调

3. 模型导出

4. 模型部署：vLLM服务

5. 测试效果

1. 显卡驱动

  • 显卡型号：NVIDIA GeForce RTX 3090 24G
  • 显卡驱动：NVIDIA-SMI 535.171.04            
  • CUDA: 12.2 ,Driver Version: 535.171.04  
微调Qwen3-VL-2B模型，至少需要12G显存

2. 模型微调

项目采用大型语言模型工厂（LLaMA-Factory）对大模型微调，目前可支持Qwen3 / Qwen2.5-VL / Gemma 3 / GLM-4.1V / InternLM 3 / MiniCPM-o-2.6等大模型。下面以微调Qwen3-VL-2B-Instruct作为例子进行说明。

微调之前，请先下载Qwen3-VL基础模型。下载方法可以选择modelscope和huggingface，国内建议选择modelscope，避免翻墙问题。

modelscope下载Qwen3-VL-2B-Instruct方法，模型默认保存在~/.cache/modelscope/hub/models/

# 使用modelscope下载模型Qwen3-VL-2B-Instruct # 模型保持在 ~/.cache/modelscope/hub/models/ modelscope download --model Qwen/Qwen3-VL-2B-Instruct

微调其他Qwen3-VL版本，请参考地址：

  • https://www.modelscope.cn/models/Qwen/Qwen3-VL-2B-Instruct
  • https://www.modelscope.cn/models/Qwen/Qwen3-VL-4B-Instruct 
  • https://www.modelscope.cn/models/Qwen/Qwen3-VL-8B-Instruct

LLaMA-Factory​安装教程，请参考官方文档：

https://github.com/hiyouga/LLaMA-Factory

安装好LLaMA-Factory后，激活环境，然后终端输入（默认端口是7860）：

export CUDA_VISIBLE_DEVICES=0 # 指定运行GPU export GRADIO_SERVER_PORT=30000 # 指定gradio的端口(默认是7860，这里修改为30000) export GRADIO_TEMP_DIR="~/.cache/gradio" # 指定gradio临时缓存路径，解决上传图片权限的问题 llamafactory-cli webui # 启动llamafactory web服务

浏览器打开url http://0.0.0.0:30000/ (http://ip:port,默认端口是7860，为避免端口冲突，可以通过export GRADIO_SERVER_PORT=30000修改端口),并按照配置如下信息:

  • 模型名称：选择“Qwen3-VL-2B-Instruct”，你也可以使用Qwen3-VL更大参数量的模型，如7B
  • 模型路径：请填写服务器Qwen3-VL-2B-Instruct模型文件路径绝对地址
  • 模型下载源：可以选择“modelscope”和“huggingface”，国内建议选择“modelscope”避免翻墙。注意：选择“modelscope”时，模型路径必须填写绝对地址，否则不能正常加载模型。
  • 微调方法：建议选择“lora”
  • 数据路径：数据路径必须包含dataset_info.json，默认是LLaMA-Factory项目的./data路径，由于我们使用外部数据训练，因此数据路径设置为我个人的项目（MLLM-Factory）根目录./data绝对路径。MLLM-Factory/data已经存在了dataset_info.json数据集。
  • 数据集： 数据集采样sharegpt格式，项目已经构建了一个多模态数据集anomaly-train 这是一个异常行为的视频数据集，详细说明请参考https://panjinquan.blog.ZEEKLOG.net/article/details/156240847
  • 预览数据集： 如果数据路径正常，点击“预览数据集”，可以正常查看数据的，反之数据路径错误。
  • 预览命令：可以查看训练的命令行
  • 开始： 一切准备好后，点击开始训练
  • 如果训练正常的，可以出现如下信息：

3. 模型导出

基于LoRA训练的模型，默认情况下，输出目录只保存了增量的训练参数；你还需要将原始基础模型(--model_name_or_path)和LoRA适配器参数(--adapter_name_or_path)进行合并，生成一个独立的、无需额外加载适配器即可运行的完整模型，便于后续部署或分享。

#!/usr/bin/env bash # TODO Lora+model合并,参数说明： #--model_name_or_path：原始基础模型路径,可使用modelscope download --model Qwen/Qwen3-VL-2B-Instruct下载 #--adapter_name_or_path：LoRA适配器路径（即训练输出目录） #--export_dir：合并后模型的保存路径 #--template default：Qwen3-VL 可使用 default，也可尝试qwen_vl（但通常自动识别） #--trust_remote_code True：Qwen系列模型必需 export CUDA_VISIBLE_DEVICES=0 model_name_or_path=~/.cache/modelscope/hub/models/Qwen/Qwen3-VL-2B-Instruct adapter_name_or_path=saves/Qwen3-VL-2B-Instruct/lora/train_2025-12-22-18-08-22/checkpoint-440 export_dir=saves/Qwen3-VL-2B-Instruct/lora/train_2025-12-22-18-08-22/Qwen3-VL-2B-Instruct llamafactory-cli export \ --model_name_or_path $model_name_or_path \ --adapter_name_or_path $adapter_name_or_path \ --template default \ --finetuning_type lora \ --export_dir $export_dir \ --trust_remote_code True
  • llamafactory-cli export调用 LLaMA-Factory 的命令行接口（CLI），执行 export 操作，即导出合并后的模型。
  • model_name_or_path $model_name_or_path指定基础模型（base model）的路径或 Hugging Face 模型 ID。例如：Qwen/Qwen3-VL-2B-Instruct或本地路径~/.cache/modelscope/hub/models/Qwen/Qwen3-VL-2B-Instruct。
  • adapter_name_or_path $adapter_name_or_path指定微调后保存的 LoRA 适配器（adapter）的路径。通常是通过 LLaMA-Factory 微调后生成的包含 adapter_model.safetensors 或 adapter_model.bin 的目录。
  • template default指定对话模板（chat template）名称。default 表示使用 LLaMA-Factory 中预设的默认模板（通常适用于无特殊对话格式的模型）。其他值如 llama3、chatglm3 等会根据模型格式自动选择对应的输入格式。
  • finetuning_type lora指定微调方法类型。此处为 lora，表示使用的是 LoRA（Low-Rank Adaptation）微调。LLaMA-Factory 也支持 full（全参数微调）或 pissa 等类型。
  • export_dir $export_dir指定合并后模型的输出目录。导出的模型将保存在此路径下，包含 tokenizer、config、权重等完整结构，可直接用于推理或部署。
  • trust_remote_code True允许加载远程自定义代码（如某些 Hugging Face 模型需要 modeling_xxx.py 等自定义文件）。对于需要自定义建模逻辑的模型（如 ChatGLM、Qwen 等）必须启用该选项。

4. 模型部署：vLLM服务

模型训练好后，项目推荐使用vLLM部署模型

#!/usr/bin/env bash # TODO 启动vllm服务 export CUDA_VISIBLE_DEVICES=0 # http://0.0.0.0:8000/v1 # model_path=~/.cache/modelscope/hub/models/Qwen/Qwen3-VL-2B-Instruct # 原始基础模型路径 model_path=saves/Qwen3-VL-2B-Instruct/lora/train_2025-12-22-18-08-22/Qwen3-VL-2B-Instruct # Lora微调(合并)后的模型路径 vllm serve $model_path --dtype auto --max-model-len 7680 --max_num_seqs 32 --api-key token-abc123 --gpu_memory_utilization 0.95 --trust-remote-code
  • api-key是自定义的服务接口的API访问密钥，后面接口调用需要使用。户端请求需包含：Authorization: Bearer token-abc123，保护服务器免受未授权访问
  • model_path 请填写Lora微调(合并)后的模型路径
  • dtype auto自动选择模型加载的数据类型，优先使用模型配置文件指定的 dtype。如果没有指定，会根据模型大小和可用 GPU 内存自动选择。常见选择：float16、bfloat16、float32
  • max-model-len 设置模型支持的最大上下文长度（token 数），通常是 2048 或 4096
  • max_num_seqs 设置批处理的最大序列数，控制同时处理的最大请求
  • gpu_memory_utilization 设置 GPU 内存利用率目标，0.95 的含义：尝试使用 95% 的可用 GPU 内存

启动成功后，可以看到 Starting vLLM API server 0 on http://0.0.0.0:8000等信息，这是就是vLLM服务接口，后续可以基于该接口实现聊天对话功能。关于接口说明，请参考https://vllm.hyper.ai/docs/

5. 测试效果

调用vLLM API进行多模态对话，测试脚本如下：

# -*- coding: utf-8 -*- import os import traceback from openai import OpenAI from pybaseutils import image_utils, base64_utils url = "http://0.0.0.0:8000/v1" # vLLM地址 url + /chat/completions key = "token-abc123" # API密钥,需与启动服务时设置的(--api-key)保持一致 class Client(): """调用vLLM API进行多模态对话""" def __init__(self, url, key, model=None): """ 初始化Client类 :param url: vLLM API地址 :param key: API密钥 :param model: 模型名称 """ self.url = url self.key = key self.model = model self.services = OpenAI(api_key=self.key, base_url=self.url) print(f"url:{self.url}, key:{self.key}, model:{self.model}") def chat(self, messages, T=0.0): """ :param messages: 多模态消息列表 :param T: 温度参数 :return: 模型回复内容 """ result = None try: response = self.services.chat.completions.create(model=self.model, messages=messages, seed=2024, temperature=T) contents = response.choices[0].message.content result = contents if isinstance(contents, str) else contents[0]['text'] except Exception as e: traceback.print_exc() return result if __name__ == "__main__": image_file = "./data/test.jpg" assert os.path.exists(image_file), f"{image_file} not exists" image = image_utils.read_image(image_file, use_rgb=True) messages = [{ "role": "user", "content": [ {"type": "text", "text": "请详细描述这张图片"}, {"type": "image_url", "image_url": {"url": image}}, ] }] messages = base64_utils.serialization(messages, prefix="data:image/jpeg;base64,", use_rgb=True) client = Client(url=url, key=key) output = client.chat(messages) print(output)

这次测试图片：

这是输出结果：

Read more

【混元AIGC+腾讯云智能体+首创Coze核心流思维导图MCP】：打造一个文思通-智能写作助手Agent

【混元AIGC+腾讯云智能体+首创Coze核心流思维导图MCP】：打造一个文思通-智能写作助手Agent

【混元AIGC+腾讯云智能体+首创Coze核心流思维导图MCP】：打造一个文思通-智能写作助手Agent 1.背景 作为一名长期关注人工智能发展的内容创作者，我经常需要撰写关于AI技术、应用趋势和产品体验的文章。然而，在实际写作过程中，常常会遇到灵感枯竭、结构混乱、表达不够精准等问题。有时候写到一半才发现逻辑断层，或者内容重复，甚至忘记了一些关键知识点。 为了解决这些痛点，我决定打造一个专属于自己的智能写作助手，取名为“文思通”——寓意“文思如泉涌，条理通达”。这个助手不仅要能帮我生成内容，更要具备结构化思维引导、逻辑梳理和语言润色的能力。 最近，我接触到一种创新的工具组合：以 Coze 平台为核心逻辑流，结合自研的思维导图 MCP 服务，可以实现从文本到可视化思维导图的自动转换。这正好解决了我在构思阶段缺乏条理的问题。而选择开发平台时，我注意到腾讯云智能体开发平台与腾讯混元大模型（Hunyuan AIGC） 的深度整合能力非常出色，支持工作流编排、插件扩展（MCP），并且提供稳定高效的推理服务。 最终，我决定采用“混元AIGC + 腾讯云智能体平台

By Ne0inhk
Qwen3.5-4B 微调实战：LLaMA-Factory 打造医疗AI助手

Qwen3.5-4B 微调实战：LLaMA-Factory 打造医疗AI助手

最近在帮一个医疗创业团队做技术支持，他们想把通用大模型改造成能回答专业医疗问题的智能助手。今天就把整个过程整理出来，希望对有类似需求的朋友有所帮助。 核心工具链：LLaMA-Factory + Qwen3.5-4B + 医疗问答数据集 Qwen3.5 是阿里最新发布的千问系列模型，4B 参数量刚好卡在"效果够用 + 显存友好"的甜蜜点；LLaMA-Factory 则是目前开源社区最成熟的微调框架，上手简单，坑也相对少。 准备工作 先说硬件要求。4B 模型用 LoRA 微调的话，一张 12GB 显存的显卡就够了（比如 RTX 4070）。如果手头只有 8GB 显存的卡，可以上 QLoRA 量化方案，牺牲一点精度换显存空间。 微调方式 4B 模型显存需求 推荐显卡 LoRA (16-bit) ~10-12 GB

By Ne0inhk
2026年高校AIGC检测新规解读：AI率多少算合格？

2026年高校AIGC检测新规解读：AI率多少算合格？

2026年高校AIGC检测新规解读：AI率多少算合格？ 从2024年知网正式上线AIGC检测功能开始，短短两年时间，"AI率"已经从一个新鲜名词变成了每个毕业生必须面对的硬性指标。2026年，各高校的AIGC检测政策进一步收紧和细化，要求也越来越明确。 那么，2026年AI率到底多少才算合格？不同学校的标准差别大吗？不合格会面临什么后果？本文将对这些问题进行深入解读。 一、AIGC检测已成为毕业论文审查的标配 回顾AIGC检测在高校中的普及历程，可以用"指数级扩散"来形容： * 2024年：知网上线AIGC检测功能，少数985/211院校开始试点，大部分学校处于观望状态 * 2025年：超过60%的本科院校和80%的研究生培养单位将AIGC检测纳入论文审查流程 * 2026年：AIGC检测基本实现全覆盖，包括专科院校在内的绝大部分高等教育机构都已建立相关制度 这一进程的背后，是教育部在2025年初发布的《关于加强高等学校学位论文学术诚信管理的指导意见》，其中明确提到"鼓励各高校引入人工智能生成内容检测机制，将AIGC检测作为论文质量保障的重要环节"。 虽然教育部没

By Ne0inhk

对于VScode中Copilot插件使用卡顿问题的解决办法

copilot卡顿主要是网络和内存占用原因。 VScode内存优化解决办法： 结合链接和我补充的基本都可以解决。 解决VSCode无缘无故卡顿的问题_vscode卡顿-ZEEKLOG博客 在VScode中打开setting.json文件，打开方法ctrl+shift+p，输入Preferences: Open User Settings (JSON)， 然后添加如下代码： { "search.followSymlinks": false, "git.autorefresh": false, "editor.formatOnSave": false } 结合链接和我补充的基本都可以解决。 VScode代理问题： vscode copilot长时间没反应_vscode中copilot总是卡住-ZEEKLOG博客 配置代理的话两种方法，上面是一种，推荐两种结合起来用（不冲突） 还是在setting.json文件中，添加如下代码： { "http.proxy": "http://127.

By Ne0inhk