LLaMA Factory 微调 LLMs 与 VLMs 实战指南

支持的模型列表

平台支持大量主流模型，以下是部分常见模型及其参数量与 Template 配置：

(注：更多模型请查阅官方文档)

提供的数据集

平台内置了丰富的基础数据集，同时也支持自定义格式。

预训练数据集

• Wiki Demo (en)
• RefinedWeb (en)
• RedPajama V2 (en)
• Wikipedia (en/zh)
• Pile (en)
• SkyPile (zh)
• FineWeb (en)
• The Stack (en)
• StarCoder (en)

指令微调数据集

• Identity (en&zh)
• Stanford Alpaca (en/zh)
• Alpaca GPT4 (en&zh)
• Glaive Function Calling V2 (en&zh)
• LIMA (en)
• BELLE 系列 (zh)
• UltraChat (en)
• OpenOrca (en)
• MathInstruct (en)
• Firefly 1.1M (zh)
• ShareGPT Hyperfiltered (en)
• AgentInstruct (en)
• Open-Thoughts (en)
• Chinese-DeepSeek-R1-Distill (zh)

偏好数据集

• DPO mixed (en&zh)
• UltraFeedback (en)
• COIG-P (zh)
• RLHF-V (en)
• HH-RLHF (en)
• KTO mixed (en)

注意：部分数据集的使用需要确认权限，推荐使用以下命令登录 Hugging Face 账户：

pip install --upgrade huggingface_hub
huggingface-cli login

安装 LLaMA Factory

推荐采用 Conda 环境 + 源码安装的方式。

首先下载代码并进入目录：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

创建一个名为 LLaMA-Factory 的 Conda 环境，指定 Python 版本为 3.10：

conda create -n LLaMA-Factory python=3.10

接着安装 PyTorch 及相关依赖（以 CUDA 12.1 为例）：

pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu121

最后安装其他依赖库：

pip install -e ".[torch,metrics]" --no-build-isolation

硬件参考

微调训练的显存需求参考如下：

微调 LLM 实践：Qwen3-4B-Thinking

激活环境后，启动 WebUI：

conda activate LLaMA-Factory
llamafactory-cli webui

在可视化界面中，选择模型（如 Qwen3-4B-Thinking）、微调方法（LoRA）及训练方式（Supervised Fine-Tuning）。

选择数据集（例如 alpaca_zh_demo），点击'预览数据集'查看内容是否符合预期。其余参数可按默认设置，点击'训练'即可开始。

训练完成后，即可得到微调后的模型权重。

微调 VLM 实践：Qwen/Qwen2.5-VL-3B-Instruct

同样激活环境并启动 WebUI。选择多模态模型（Qwen/Qwen2.5-VL-3B-Instruct）、微调方法（LoRA）及训练方式。

选择数据集（如 mllm_demo），预览时可以看到对应的图文数据。对于多模态任务，建议根据实际需求调整训练轮数（例如设为 10 轮）。

点击'训练'，等待流程完成即可。

了解源代码与自定义数据集

项目目录结构清晰，重点在于 data 文件夹。这里存放了微调训练用到的示例数据，如 alpaca_zh_demo.json 和 mllm_demo.json。

数据格式解析

目前支持 alpaca 格式和 sharegpt 格式。允许的文件类型包括 json、jsonl、csv、parquet 和 arrow。

Alpaca 格式示例：

[
  {
    "instruction": "识别并解释给定列表中的两个科学理论：细胞理论和日心说。",
    "input": "",
    "output": "细胞理论是生物科学的一个理论..."
  }
]

ShareGPT 格式示例（多模态）：

[
  {
    "messages": [
      { "content": "<image>Who are they?", "role": "user" },
      { "content": "They're Kane and Gretzka from Bayern Munich.", "role": "assistant" }
    ],
    "images": [ "mllm_demo_data/1.jpg" ]
  }
]

自定义数据集

制作自定义数据集可参考官方 README。在 dataset_info.json 文件中添加自定义的数据集名字和格式配置即可。

例如，新增一个 vlm_graph_gen 数据集，标注内容在 vlm_graph_gen.json 中，配置如下：

{
  "vlm_graph_gen": {
    "file_name": "vlm_graph_gen.json",
    "formatting": "sharegpt",
    "columns": { "messages": "messages", "images": "images" },
    "tags": { "role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant" }
  }
}

配置完成后，在微调训练界面即可选择该数据集进行训练。

参考资料

• GitHub 仓库：https://github.com/hiyouga/LLaMA-Factory
• 框架文档：https://llamafactory.readthedocs.io/zh-cn/latest/
• HuggingFace 数据集：https://huggingface.co/datasets
• Colab 免费环境：https://colab.research.google.com/drive/1d5KQtbemerlSDSxZIfAaWXhKr30QypiK