LLaMA Factory 微调大语言模型与视觉语言模型

三、提供的数据集（基础）

预训练数据集

• Wiki Demo (en)
• RefinedWeb (en)
• RedPajama V2 (en)
• Wikipedia (en)
• Wikipedia (zh)
• Pile (en)
• SkyPile (zh)
• FineWeb (en)
• FineWeb-Edu (en)
• CCI3-HQ (zh)
• CCI3-Data (zh)
• CCI4.0-M2-Base-v1 (en&zh)
• CCI4.0-M2-CoT-v1 (en&zh)
• CCI4.0-M2-Extra-v1 (en&zh)
• The Stack (en)
• StarCoder (en)

指令微调数据集

• Identity (en&zh)
• Stanford Alpaca (en)
• Stanford Alpaca (zh)
• Alpaca GPT4 (en&zh)
• Glaive Function Calling V2 (en&zh)
• LIMA (en)
• Guanaco Dataset (multilingual)
• BELLE 2M (zh)
• BELLE 1M (zh)
• BELLE 0.5M (zh)
• BELLE Dialogue 0.4M (zh)
• BELLE School Math 0.25M (zh)
• BELLE Multiturn Chat 0.8M (zh)
• UltraChat (en)
• OpenPlatypus (en)
• CodeAlpaca 20k (en)
• Alpaca CoT (multilingual)
• OpenOrca (en)
• SlimOrca (en)
• MathInstruct (en)
• Firefly 1.1M (zh)
• Wiki QA (en)
• Web QA (zh)
• WebNovel (zh)
• Nectar (en)
• deepctrl (en&zh)
• Advertise Generating (zh)
• ShareGPT Hyperfiltered (en)
• ShareGPT4 (en&zh)
• UltraChat 200k (en)
• Infinity Instruct (zh)
• AgentInstruct (en)
• LMSYS Chat 1M (en)
• Evol Instruct V2 (en)
• Cosmopedia (en)
• STEM (zh)
• Ruozhiba (zh)
• Neo-sft (zh)
• Magpie-Pro-300K-Filtered (en)
• Magpie-ultra-v0.1 (en)
• WebInstructSub (en)
• OpenO1-SFT (en&zh)
• Open-Thoughts (en)
• Open-R1-Math (en)
• Chinese-DeepSeek-R1-Distill (zh)
• LLaVA mixed (en&zh)
• Pokemon-gpt4o-captions (en&zh)
• Open Assistant (de)
• Dolly 15k (de)
• Alpaca GPT4 (de)
• OpenSchnabeltier (de)
• Evol Instruct (de)
• Dolphin (de)
• Booksum (de)
• Airoboros (de)
• Ultrachat (de)

偏好数据集

• DPO mixed (en&zh)
• UltraFeedback (en)
• COIG-P (zh)
• RLHF-V (en)
• VLFeedback (en)
• RLAIF-V (en)
• Orca DPO Pairs (en)
• HH-RLHF (en)
• Nectar (en)
• Orca DPO (de)
• KTO mixed (en)

注意：部分数据集的使用需要确认，推荐使用下述命令登录自己的 Hugging Face 账户

pip install --upgrade huggingface_hub
huggingface-cli login

四、安装 LLaMA Factory

推荐'Conda 环境 + 源码安装'的方式。

首先下载代码，进入目录，执行命令：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

创建一个 Conda 环境，名字为 LLaMA-Factory，指定 Python 是 3.10：

conda create -n LLaMA-Factory python=3.10

然后安装 torch==2.5.1，CUDA=12.1，执行命令：

pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu121

最后安装其他依赖库：

pip install -e ".[torch,metrics]" --no-build-isolation

电脑硬件方面，微调训练的参考：

五、微调 LLM 实践--Qwen3-4B-Thinking

进入代码目录，并进入 Conda 环境：

conda activate LLaMA-Factory

通过下面命令，打开微调可视化界面：

llamafactory-cli webui

选择模型（Qwen3-4B-Thinking）、微调方法（lora）、训练方式（Supervised Fine-Tuning）监督微调。

选择数据集（alpaca_zh_demo），点击'预览数据集'能看到数据内容。

其他参考可以默认了，然后点击'训练'，等待训练完成。

完成 LLM 微调啦～

六、微调 VLM 实践--Qwen/Qwen2.5-VL-3B-Instruct

进入代码目录，并进入 Conda 环境：

conda activate LLaMA-Factory

通过下面命令，打开微调可视化界面：

llamafactory-cli webui

选择模型（Qwen/Qwen2.5-VL-3B-Instruct）、微调方法（lora）、训练方式（Supervised Fine-Tuning）监督微调。

选择数据集（mllm_demo），点击'预览数据集'能看到数据内容。

对应的图片：（LLaMA-Factory/data/mllm_demo_data/1.jpg）

微调的训练轮数改为 10。

其他参考可以默认了，然后点击'训练'，等待训练完成。

完成 VLM 微调啦～

七、了解源代码

目录结构如下：

首先看看数据集的目录，有上面微调训练用到的 alpaca_zh_demo.json、mllm_demo.json，还有一些其他数据集，也能使用。

看一下 alpaca_zh_demo.json 文件的数据：

[
  {
    "instruction": "识别并解释给定列表中的两个科学理论：细胞理论和日心说。",
    "input": "",
    "output": "细胞理论是生物科学的一个理论，它认为所有生命体都是由微小的基本单元——细胞所构成。这是生物学的一个基础理论，认为细胞是所有生物的基本结构和功能单位，所有的生物都是由一个或多个细胞组成，细胞只能通过细胞分裂产生新的细胞。这一理论由薛定谔、施瓦内和雪莱于 1839 年首次提出。\n\n日心说是指太阳是太阳系的中心，也就是说，行星围绕太阳旋转的理论。这个理论打破了传统的地心说观点，认为地球并不是宇宙的中心。日心说的提出者是尼古拉·哥白尼，他在 16 世纪初发表了他的著作《天体运行论》，阐述了太阳系行星围绕太阳运行的模型，为天文学的发展做出了巨大贡献。"
  },
  ...
]

看一下 mllm_demo.json 文件的数据：

[
  {
    "messages": [
      { "content": "<image>Who are they?", "role": "user" },
      { "content": "They're Kane and Gretzka from Bayern Munich.", "role": "assistant" }
    ],
    "images": [ "mllm_demo_data/1.jpg", "mllm_demo_data/1.jpg" ]
  },
  ...
]

目前支持 alpaca 格式和 sharegpt 格式的数据集。允许的文件类型包括 json、jsonl、csv、parquet 和 arrow。

自定义数据集，参考官方文档来制作就好啦。

然后在 dataset_info.json 文件中，添加自定义的数据集名字和格式就好啦。（能看到 alpaca_zh_demo 和 mllm_demo 数据集也在里面的）

比如，新加了 vlm_graph_gen 数据集，标注内容在 vlm_graph_gen.json 中：

{
  "identity": { "file_name": "identity.json" },
  "alpaca_en_demo": { "file_name": "alpaca_en_demo.json" },
  "alpaca_zh_demo": { "file_name": "alpaca_zh_demo.json" },
  "glaive_toolcall_en_demo": { "file_name": "glaive_toolcall_en_demo.json", "formatting": "sharegpt", "columns": { "messages": "conversations", "tools": "tools" } },
  "glaive_toolcall_zh_demo": { "file_name": "glaive_toolcall_zh_demo.json", "formatting": "sharegpt", "columns": { "messages": "conversations", "tools": "tools" } },
  "mllm_demo": { "file_name": "mllm_demo.json", "formatting": "sharegpt", "columns": { "messages": "messages", "images": "images" }, "tags": { "role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant" } },
  "vlm_graph_gen": { "file_name": "vlm_graph_gen.json", "formatting": "sharegpt", "columns": { "messages": "messages", "images": "images" }, "tags": { "role_tag": "role", "content_tag": "content", "user_tag": "user", "assistant_tag": "assistant" } }
}

在微调训练时，就能选择它训练啦。