本文介绍了基于 XTuner 框架微调 LLaVA-Llama-3-8B 多模态模型的完整流程。内容涵盖环境配置、模型权重准备（Llama3、CLIP、Image Projector）、数据过拟合处理、QLoRA 微调启动、模型格式转换及本地推理测试。通过该教程，开发者可快速掌握多模态大模型的微调与部署方法，实现图文理解能力的自定义增强。文中还补充了显存优化策略及常见故障排查方案，适合希望深入实践多模态大模型应用的开发者参考。
近日，XTuner 团队基于 Meta 发布了最新版多模态大模型 LLaVA-Llama-3-8B。相比 LLaVA-1.5，该模型在多个评测数据集上取得了显著提升。本文旨在提供一份详细的微调指南，帮助用户基于 Llama3-8B-Instruct 和 XTuner 预训练的 Image Projector，快速构建自己的多模态图文理解模型。
首先，我们需要搭建 Python 运行环境。建议使用 Conda 管理虚拟环境，确保依赖版本兼容。
# 创建 conda 环境
conda create -n llama3 python=3.10 -y
conda activate llama3
# 安装 PyTorch (CUDA 12.1)
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
接下来安装 XTuner 框架。建议克隆官方仓库并安装为可编辑模式。
cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner.git
cd XTuner
pip install -e .
注意： 安装过程中请确保网络通畅，若遇到依赖冲突，可尝试更新 pip 或清理缓存。
微调开始前，需准备以下三个核心组件的权重文件：
下载 Meta-Llama-3-8B-Instruct 模型。由于 HuggingFace 访问限制，国内用户可选择 OpenXLab 或其他镜像源。
cd ~
git lfs install
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct
LLaVA 需要视觉编码器来提取图像特征，通常使用 CLIP 模型。
cd ~
ln -s /root/new_models/openai/clip-vit-large-patch14-336 .
# 若无本地路径，可从 HuggingFace 下载
# wget https://huggingface.co/openai/clip-vit-large-patch14-336/resolve/main/pytorch_model.bin
这是连接视觉编码器和语言模型的桥梁。XTuner 提供了预训练好的迭代权重。
建议从 XTuner 官方仓库获取最新权重文件，确保格式兼容性。
为了快速验证流程，我们可以采用过拟合（Overfitting）的方式准备少量数据。XTuner 提供了脚本用于重复生成训练样本。
cd ~
git clone https://github.com/InternLM/tutorial -b camp2
python ~/tutorial/xtuner/llava/llava_data/repeat.py \
-i ~/tutorial/xtuner/llava/llava_data/unique_data.json \
-o ~/tutorial/xtuner/llava/llava_data/repeated_data.json \
-n 200
此步骤将原始数据重复 200 次，模拟小规模训练场景，便于调试配置文件。
XTuner 提供了丰富的配置文件。我们使用 QLoRA 技术进行高效微调，以节省显存资源。
cd ~
git clone https://github.com/InternLM/XTuner
mkdir -p ~/project/llama3-ft
cd ~/project/llama3-ft
# 启动训练命令
xtuner train configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
--work_dir ./llava \
--deepspeed deepspeed_zero2
参数说明：
--work_dir: 指定模型保存目录。--deepspeed: 使用 DeepSpeed ZeRO Stage 2 优化显存占用。硬件要求：
batch_size 或使用 gradient_accumulation_steps。训练完成后，生成的 .pth 文件需转换为 HuggingFace 格式，以便在其他框架中加载使用。
# 转换 Pretrain 权重
xtuner convert pth_to_hf configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
~/llama3-llava-iter_2181.pth \
./pretrain_iter_2181_hf
# 转换 Finetune 权重
xtuner convert pth_to_hf configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
./llava/iter_1200.pth \
./finetune_iter_1200_hf
转换完成后，可通过命令行直接测试模型对图像的理解能力。
此时模型仅具备基础特征提取能力，可能无法回答复杂问题。
xtuner chat ~/Meta-Llama-3-8B-Instruct \
--visual-encoder ~/clip-vit-large-patch14-336 \
--llava ./pretrain_iter_2181_hf \
--prompt-template llama3_chat \
--image test_img/oph.jpg
预期输出： 模型可能会输出图片标签或简单描述，但难以针对具体问题进行逻辑推理。
经过微调后，模型应能根据图片内容回答具体问题。
xtuner chat ~/Meta-Llama-3-8B-Instruct \
--visual-encoder ~/clip-vit-large-patch14-336 \
--llava ./finetune_iter_1200_hf \
--prompt-template llama3_chat \
--image test_img/oph.jpg
预期输出： 模型能够识别图片中的设备、场景，并结合上下文给出准确回答。
若在训练过程中出现 OOM 错误，可尝试以下方案：
per_device_train_batch_size。gradient_accumulation_steps 以保持有效 batch size。lr) 和 LoRA rank (lora_rank) 以获得更好收敛效果。微调后的模型可集成至 Web 应用或 API 服务中。推荐使用 FastAPI 封装推理接口，并配合 Nginx 进行负载均衡。对于高并发场景，可考虑量化模型（如 INT8/INT4）以降低延迟。
本教程详细演示了利用 XTuner 框架微调 LLaVA-Llama-3-8B 多模态模型的全流程。通过掌握环境配置、数据准备、QLoRA 微调及格式转换等关键步骤，开发者可以快速构建具备特定领域图文理解能力的 AI 模型。随着多模态技术的成熟，此类微调技能将成为人工智能工程师的核心竞争力之一。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online