基于 minimind 从零训练 26M 微型语言模型指南

下载模型

git clone https://huggingface.co/jingyaogong/minimind-v1

评估脚本

python 2-eval.py

或者启动 streamlit 网页聊天界面：

streamlit run fast_inference.py

快速开始

1. 克隆项目代码

git clone https://github.com/jingyaogong/minimind.git
cd minimind

2. 准备数据

如果你需要自己训练，请执行以下步骤：

1. 下载数据集：将数据集下载地址放到 ./dataset 目录下。

   • Tokenizer 训练集：用于自定义分词器。
   • Pretrain 数据：Seq-Monkey 通用文本数据集 / SkyPile-150B 数据集部分。
   • SFT 数据：匠数大模型 SFT 数据集（整合了 BelleGroup, LinkSoul, ultrachat 等多个来源）。
   • DPO 数据：活字模型标注的偏好数据。

2. 处理数据集：

   python data_process.py
   

   例如 pretrain 数据提前进行 token-encoder、sft 数据集抽离 qa 到 csv 文件。

3. 调整模型配置： 在 ./model/LMConfig.py 中调整 model 的参数配置。

3. 训练流程

1. 预训练 (Pretrain)：

   python 1-pretrain.py
   

   预训练是让 Model 先埋头苦学大量基本的知识，例如从维基百科、新闻、常识、书籍等。它无监督的从大量的文本数据中压缩知识到自己模型的权重，目的是：学会词语接龙。

2. 全量指令微调 (Full SFT)：

   python 3-full_sft.py
   

   经过预训练，半成品 LLM 此时已经掌握了几乎所有的语言知识和百科常识。此时它还不会与人聊天，相反它只会无脑地进行输入词语的接龙。此时需要对半成品 LLM 做限制在聊天模板中进行微调。

3. LoRA 微调 (可选)：

   python 4-lora_sft.py
   

4. DPO 人类偏好强化学习对齐 (可选)：

   python 5-dpo_train.py
   

   在前面的训练中，机器人已经具备了基本的对话能力。但是，我们希望它能够更符合人的偏好，给出更让人满意的回答。

4. 多卡加速训练

预训练和全参微调 pretrain 和 full_sft 均支持多卡加速。

单机 N 卡启动训练 (DDP)

torchrun --nproc_per_node N 1-pretrain.py
torchrun --nproc_per_node N 3-full_sft.py

单机 N 卡启动训练 (DeepSpeed)

deespeed --master_port 29500 --num_gpus=N 1-pretrain.py
deespeed --master_port 29500 --num_gpus=N 3-full_sft.py

5. 测试模型推理效果

确保需要使用的，训练完成的参数权重位于 ./out/ 目录下。

# 测试预训练模型的接龙效果
python 0-eval_pretrain.py

# 测试模型的对话效果
python 2-eval.py

数据集详解

Tokenizer

LLM 分词器的构建方式有两种：一种是自己构造词表训练一个分词器；另一种是选择开源模型训练好的分词器。

因为 LLM 体积非常小，为了避免模型头重脚轻（词嵌入 embedding 层参数占整个 LLM 比太高），所以词表长度需要选择比较小。强大的开源模型例如 01 万物、千问、chatglm、mistral、Llama3 等，它们的 tokenizer 词表长度如下：

minimind 选择了自己训练的 minimind_tokenizer 作为分词器，以保持整体参数轻量，避免编码层和计算层占比失衡。由于自定义词表压缩长度到 6400，使得 LLM 总参数量最低只有 26M。

Pretrain 数据

Seq-Monkey 通用文本数据集是由多种公开来源的数据汇总清洗而成。整理成统一的 JSONL 格式，并经过了严格的筛选和去重，确保数据的全面性、规模、可信性和高质量。总量大约在 10B token，适合中文大语言模型的预训练。

SFT 数据

匠数大模型 SFT 数据集是一个完整、格式统一、安全的大模型训练和研究资源。包含 10M 条数据的中文数据集和包含 2M 条数据的英文数据集。总量大约在 3B token，适合中文大语言模型的 SFT。

DPO 数据

大约合并后共 8 万条 dpo 数据，人工标注的偏好数据，均来自活字模型，可以用于训练奖励模型，优化模型回复质量，使其更加符合人类偏好。

模型架构

MiniMind-Dense（和 Llama3.1 一样）使用了 Transformer 的 Decoder-Only 结构，跟 GPT-3 的区别在于：

1. 预标准化方法：采用了 GPT-3 的预标准化方法，也就是在每个 Transformer 子层的输入上进行归一化，而不是在输出上。具体来说，使用的是 RMSNorm 归一化函数。
2. 激活函数：用 SwiGLU 激活函数替代了 ReLU，这样做是为了提高性能。
3. 位置嵌入：像 GPT-Neo 一样，去掉了绝对位置嵌入，改用了旋转位置嵌入（RoPE），这样在处理超出训练长度的推理时效果更好。

MiniMind-MoE 模型，它的结构基于 Llama3 和 Deepseek-V2 中的 MixFFN 混合专家模块。DeepSeek-V2 在前馈网络（FFN）方面，采用了更细粒度的专家分割和共享的专家隔离技术，以提高 Experts 的效果。

MiniMind 的整体结构一致，只是在 RoPE 计算、推理函数和 FFN 层的代码上做了一些小调整。

模型配置对比

实验结果

训练耗时参考

硬件环境：CPU: Intel(R) Core(TM) i9-10980XE CPU @ 3.00GHz, 内存：128 GB, 显卡：NVIDIA GeForce RTX 3090(24GB) * 2

Scaling Law 与小模型架构

关于 LLM 的参数配置，有一篇很有意思的论文 MobileLLM 做了详细的研究和实验。Scaling Law 在小模型中有自己独特的规律。引起 Transformer 参数成规模变化的参数几乎只取决于 d_model 和 n_layers。

• d_model↑ + n_layers↓ -> 矮胖子
• d_model↓ + n_layers↑ -> 瘦高个

2020 年提出 Scaling Law 的论文认为，训练数据量、参数量以及训练迭代次数才是决定性能的关键因素，而模型架构的影响几乎可以忽视。然而似乎这个定律对小模型并不完全适用。MobileLLM 提出架构的深度比宽度更重要，「深而窄」的「瘦长」模型可以学习到比「宽而浅」模型更多的抽象概念。

因此 MiniMind 设定 small 模型的 d_model=512，n_layers=8 来获取的「极小体积 <-> 更好效果」的平衡。设定 d_model=768，n_layers=16 来获取效果的更大收益，更加符合小模型 scaling-law 的变化曲线。

评测表现

主观问答测试

通过对比 minimind 系列与其他小模型（baby-llama2-chinese, chatlm-mini-chinese）的表现，minimind-v1(0.1B) 评分最高，常识性问题的回答基本没有错误和幻觉。minimind-v1-small(0.02B) 仅有 26M 参数，却可以接近 minimind-v1(0.1B) 的表现。

C-Eval 客观数据集

C-Eval 评测代码见：./eval_ceval.py，小模型的测评通常为了避免回复格式的难以固定的特点，而直接判断 A,B,C,D 四个字母对应 token 预测概率，取最大的作为回答答案，与标准答案计算正确率。

测试结果汇总：

模型擅长领域主要集中在高中的化学、离散数学、教育科学、基础医学、计算机操作系统等逻辑推理和基础科学领域。不擅长领域包括法律相关、中学和大学的物理、高中政治地理等。

推理与部署

导出模型

./export_model.py 可以导出模型到 transformers 格式，推送到 huggingface。

API 推理

my_openai_api.py 完成了 openai_api 的聊天接口，方便将自己的模型接入第三方 UI 例如 fastgpt、OpenWebUI 等。

启动聊天服务端：

python my_openai_api.py

测试服务接口：

python chat_openai_api.py

API 接口示例，兼容 openai api 格式：

curl http://ip:port/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-identifier",
    "messages": [ 
      { "role": "user", "content": "世界上最高的山是什么？" }
    ],   
    "temperature": 0.7,   
    "max_tokens": -1,
    "stream": true
}'

接入 FastGPT

可以通过配置 API 地址，将 minimind 接入 FastGPT 等应用平台使用，实现本地私有化部署的对话系统。

总结

minimind 项目成功展示了在消费级硬件上训练小型语言模型的可行性。通过精简的架构设计（RoPE, RMSNorm, SwiGLU）和轻量级的分词策略，实现了 26M 参数下的有效对话能力。对于希望深入理解 LLM 底层原理、Transformer 架构细节以及训练全流程的开发者来说，这是一个极佳的入门和实践项目。