本文详细介绍了基于 XTuner 框架对 Llama-3-8B-Instruct 进行多模态微调的完整流程。内容涵盖环境配置、模型权重准备（包括视觉编码器与图像投影器）、数据集构建、QLoRA 训练启动及模型转换。通过对比预训练与微调后的推理效果，验证了模型在图文理解任务上的能力提升，适合希望掌握大模型垂直领域微调技术的开发者参考。
随着大语言模型（LLM）技术的飞速发展，多模态模型已成为连接文本与视觉信息的关键桥梁。Llama-3 作为 Meta 推出的最新一代开源基座模型，具备强大的指令遵循能力。结合 XTuner 框架，我们可以利用其预训练的 Image Projector 和 LLaVA 架构，快速构建基于 Llama-3-8B-Instruct 的多模态图文理解模型。
本教程将详细演示如何从零开始配置环境、准备权重、构建数据集，并完成模型的微调与推理验证。
推荐使用 Python 3.10 配合 PyTorch 2.1.2 (CUDA 12.1) 版本，以确保兼容性。
conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
安装 XTuner 训练框架：
cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .
微调前需准备三部分核心权重：语言模型、视觉编码器、图像投影器。
下载 Meta-Llama-3-8B-Instruct 模型权重。若使用本地环境，可从 HuggingFace 或 OpenXLab 获取。
cd ~
git lfs install
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct
LLaVA 架构需要 CLIP 模型作为视觉编码器，此处使用 openai/clip-vit-large-patch14-336。
cd ~
ln -s /root/new_models/openai/clip-vit-large-patch14-336 .
# 若无特定路径，可直接从 HuggingFace 下载
XTuner 团队提供了预训练的 Image Projector 权重，用于对齐视觉特征与文本特征。
xtuner/llava-llama-3-8b 获取相关文件。微调数据通常采用 JSON 格式，包含图片路径及对应的对话指令。为了快速验证流程，本教程采用过拟合方式生成少量重复数据。
cd ~
git clone https://github.com/InternLM/tutorial -b camp2
python ~/tutorial/xtuner/llava/llava_data/repeat.py \
-i ~/tutorial/xtuner/llava/llava_data/unique_data.json \
-o ~/tutorial/xtuner/llava/llava_data/repeated_data.json \
-n 200
XTuner 支持通过 Python 脚本定义训练配置。关键参数包括：
我们使用 QLoRA 技术进行高效微调，并开启 DeepSpeed Zero2 以优化显存管理。
cd ~
git clone https://github.com/SmartFlowAI/Llama3-XTuner-CN
mkdir -p ~/project/llama3-ft
cd ~/project/llama3-ft
xtuner train ~/Llama3-XTuner-CN/configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work_dir ~/project/llama3-ft/llava --deepspeed deepspeed_zero2
资源需求：单卡 A100 (80GB) 约需 44GB 显存，预计训练时间 30 分钟。
训练完成后，需将 .pth 权重转换为 HuggingFace 标准格式，以便后续部署。
# 转换 Pretrain 阶段权重
xtuner convert pth_to_hf ~/Llama3-XTuner-CN/configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
~/llama3-llava-iter_2181.pth \
~/project/llama3-ft/llava/pretrain_iter_2181_hf
# 转换 Finetune 后权重
xtuner convert pth_to_hf ~/Llama3-XTuner-CN/configs/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
~/project/llama3-ft/llava/iter_1200.pth \
~/project/llama3-ft/llava/finetune_iter_1200_hf
使用 xtuner chat 命令加载模型进行测试。
测试问题 1：Describe this image. 测试问题 2：What is the equipment in the image?
xtuner chat ~/Meta-Llama-3-8B-Instruct \
--visual-encoder ~/clip-vit-large-patch14-336 \
--llava ~/project/llama3-ft/llava/finetune_iter_1200_hf \
--prompt-template llama3_chat \
--image ~/tutorial/xtuner/llava/llava_data/test_img/oph.jpg
若遇到 OOM (Out Of Memory) 错误，可尝试以下方案：
batch_size。gradient_accumulation_steps。微调后的模型可导出为 ONNX 或 TensorRT 格式以提升推理速度。在生产环境中，建议使用 vLLM 或 TGI 等高性能推理服务框架进行部署。
通过 XTuner 框架，开发者可以低成本地实现 Llama-3 等多模态模型的垂直领域微调。本文涵盖了从环境搭建到最终推理的全链路流程。掌握此项技能，有助于在医疗、电商、教育等需要图文交互的场景中构建定制化 AI 应用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online