大模型实战技术指南：集群、训练、微调与推理加速

大模型实战技术指南：集群、训练、微调与推理加速 | 极客日志

随着ChatGPT的迅速出圈，大模型时代加速到来。对于以Transformer、MOE结构为代表的大模型来说，传统的单机单卡训练模式已无法满足上千亿甚至万亿级参数的模型训练需求，必须解决内存墙和通信墙等一系列问题，采用单机多卡或多机多卡进行分布式模型训练。

本文主要涉及AI集群、AI集群通信、大模型训练（参数高效微调）、大模型推理加速、大模型评估、大模型生态相关技术等内容，旨在为开发者提供一份全面的技术参考。

AI 集群

由于目前硬件资源限制，基于现有的一些AI框架和大模型，无法充分利用所有服务器资源。例如OPT-66B一共有64层Transformer，当使用Alpa进行流水线并行时，通过流水线并行对模型进行切分，要么使用16卡，要么使用8卡，没法直接使用24卡。因此，GPU服务器最好是购买偶数台（如：2台、4台、8台）以便灵活配置。

硬件配置建议

CPUs: 每个节点具有1TB内存的Intel CPU，物理CPU个数为64，每颗CPU核数为16。

GPUs: 24 卡 A800 80GB GPUs，每个节点 8 个 GPU（3 个节点）。

目前使用Huggingface Transformers和DeepSpeed进行数据并行训练（pretrain），单卡可以跑三百亿参数（启用ZeRO-2或ZeRO-3），如OPT-30B。具体训练教程可参考官方样例。

使用Alpa进行流水线并行和数据并行进行训练（fine tuning）时，使用了3台共24卡（PP：12，DP：2）进行训练OPT-30B。如果不想转换模型格式，官网也提供了转换好的模型格式，具体请参考文档：Serving OPT-175B, BLOOM-176B and CodeGen-16B using Alpa。

AI处理器（加速卡）

目前主流的AI处理器无疑是NVIDIA的GPU。NVIDIA的GPU产品主要有GeForce、Tesla和Quadro三大系列。虽然从硬件角度来看，它们都采用同样的架构设计，也都支持用作通用计算(GPGPU)，但因为它们分别面向的目标市场以及产品定位的不同，这三个系列的GPU在软硬件的设计和支持上都存在许多差异。

Tesla: A100（A800）、H100（H800）、A30、A40、V100、P100… 偏重于深度学习、人工智能和高性能计算。
GeForce: RTX 3090、RTX 4090 … 消费级显卡，主要应用于游戏娱乐领域。
Quadro: RTX 6000、RTX 8000 … 专业可视化设计和创作。

其中，A800/H800是针对中国特供版（低配版），相对于A100/H100，主要区别在于Nvlink最大总网络带宽：

A100的Nvlink最大总网络带宽为600GB/s，而A800的Nvlink最大总网络带宽为400GB/s。
H100的Nvlink最大总网络带宽为900GB/s，而H800的Nvlink最大总网络带宽为400GB/s。

其他国外AI处理器：

AMD: GPU MI300X
Intel: Xeon Phi
Google: TPU

国产AI处理器：

华为：昇腾910（用于训练和推理），昇腾310（用于推理）。采用自家设计的达芬奇架构。
海光DCU：8100系列（深算一号），以GPGPU架构为基础。
寒武纪：思元370、思元590。
百度：昆仑芯，采用的是其自研XPU架构。
阿里：含光800。

大模型算法

模型结构

目前主流的大模型都是Transformer、MOE结构为基础进行构建。如果说Transformer结构使得模型突破到上亿参数量，MoE 稀疏混合专家结构使模型参数量产生进一步突破，达到数万亿规模。

Transformer 开创了继 MLP、CNN和 RNN之后的第四大类模型。基于Transformer结构的模型又可以分为Encoder-only、Decoder-only、Encoder-Decoder这三类。

仅编码器架构（Encoder-only）：自编码模型（破坏一个句子，然后让模型去预测或填补），更擅长理解类的任务，例如：文本分类、实体识别、关键信息抽取等。典型代表有：Bert、RoBERTa等。
仅解码器架构（Decoder-only）：自回归模型（将解码器自己当前步的输出加入下一步的输入，解码器融合所有已经输入的向量来输出下一个向量，所以越往后的输出考虑了更多输入），更擅长生成类的任务，例如：文本生成。典型代表有：GPT系列、LLaMA、OPT、Bloom等。
编码器 - 解码器架构（Encoder-Decoder）：序列到序列模型（编码器的输出作为解码器的输入），主要用于基于条件的生成任务，例如：翻译，概要等。典型代表有：T5、BART、GLM等。

大语言模型

目前业界可以下载到的一些大语言模型包括：

ChatGLM-6B / ChatGLM2-6B：清华开源的中英双语的对话语言模型。第二代ChatGLM在官网允许的情况下可以进行商用。
GLM-10B/130B：双语（中文和英文）双向稠密模型。
OPT-2.7B/13B/30B/66B：Meta开源的预训练语言模型。
LLaMA-7B/13B/30B/65B：Meta开源的基础大语言模型。
Alpaca（LLaMA-7B）：斯坦福提出的一个强大的可复现的指令跟随模型，种子任务都是英语，收集的数据也都是英文，因此训练出来的模型未对中文优化。
BELLE（BLOOMZ-7B/LLaMA-7B/LLaMA-13B）：本项目基于 Stanford Alpaca，针对中文做了优化，模型调优仅使用由ChatGPT生产的数据。
Bloom-7B/13B/176B：可以处理46 种语言，包括法语、汉语、越南语、印度尼西亚语、加泰罗尼亚语、13 种印度语言和 20 种非洲语言。
Vicuna(7B/13B)：由UC Berkeley、CMU、Stanford和 UC San Diego的研究人员创建，通过在 ShareGPT 收集的用户共享对话数据中微调 LLaMA 获得。性能在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。
Baize：白泽是在LLaMA上训练的。目前包括四种英语模型及垂直领域的医疗模型。
LLMZoo：来自香港中文大学和深圳市大数据研究院团队推出的一系列大模型，如 Phoenix 和 Chimera。
MOSS：由复旦 NLP 团队推出的 MOSS 大语言模型。
baichuan-7B：由百川智能推出的大模型，可进行商用。
CPM-Bee：百亿参数的开源中英文双语基座大模型，可进行商用。

开源的大语言模型主要有三大类：GLM衍生的大模型、LLaMA衍生的大模型、Bloom衍生的大模型。

模型	训练数据量	模型参数	训练数据范围	词表大小
LLaMA	1T～1.4T tokens	7B～65B	以英语为主要语言的拉丁语系	32000
ChatGLM-6B	约 1T tokens	6B	中文、英语	130528
Bloom	1.6TB预处理文本	300M~176B	46种自然语言，13种编程语言	250680

对于像ChatGLM-6B、LLaMA、Bloom这类大模型，要保证基座模型有比较好的效果，至少需要保证上千亿、万亿级的Token量。

关于LLaMA是否需要扩充词表的问题，根据Chinese-LLaMA-Alpaca和BELLE的报告，扩充中文词表可以提升中文编解码效率以及模型的性能。但是扩词表相当于从头初始化开始训练这些参数，如果想达到比较好的性能，需要比较大的算力和数据量。如果不是有特别充裕的时间和计算资源，建议跳过该阶段。

多模态大模型

MiniGPT-4：沙特阿拉伯阿卜杜拉国王科技大学的研究团队开源。
LLaVA：由威斯康星大学麦迪逊分校，微软研究院和哥伦比亚大学共同出品。
VisualGLM-6B：开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，整体模型共78亿参数。
VisCPM：于CPM基础模型的中英双语多模态大模型。

领域大模型

金融领域大模型

轩辕：在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调。
Cornucopia（聚宝盆）：开源了经过中文金融知识指令精调的LLaMA-7B模型。
BBT-FinCUGE-Applications：开源了中文金融领域开源语料库BBT-FinCorpus及评测基准CFLEB。

法律领域大模型

ChatLaw：由北京大学开源的大模型，主要有13B、33B。
LexiLaw：基于 ChatGLM-6B 架构，通过在法律领域的数据集上进行微调。
LaWGPT：在通用中文基座模型的基础上扩充法律领域专有词表、大规模中文法律语料预训练。
Lawyer LLaMA：开源了一系列法律领域的指令微调数据和基于LLaMA训练的中文法律大模型的参数。

医疗领域大模型

DoctorGLM：基于 ChatGLM-6B的中文问诊模型。
BenTsao：经过中文医学指令精调的LLaMA-7B模型。
BianQue：一个经过指令与多轮问询对话联合微调的医疗对话大模型。
HuatuoGPT：开源了经过中文医学指令精调的一个GPT-like模型。
Med-ChatGLM：基于中文医学知识的ChatGLM模型微调。
QiZhenGPT：利用启真医学知识库构建的中文医学指令数据集，并基于此在LLaMA-7B模型上进行指令精调。
XrayGLM：发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。
MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。

教育领域大模型

桃李（Taoli）：在国际中文教育领域数据上进行了额外训练的模型。
EduChat：华东师范大学计算机科学与技术学院的EduNLP团队研发，提供教育场景下自动出题、作业批改、情感支持等功能。

数学领域大模型

chatglm-maths：基于chatglm-6b微调/LORA/PPO/推理的数学题解题大模型。

RLHF(人工反馈强化学习)

根据 OpenAI 之前做的一些实验，可以看到使用了 PPO（近端策略优化）算法的 RLHF 模型整体上都更好一些。RLHF 之所以能让模型更好，一种可能与比较和生成的计算难度之间的不对称性有关。判断哪个样本更好是简单得多的任务，这种不对称性可能使得比较是一种更好的方法。

但目前来看，RLHF 并不总是会为基石模型带来提升。在某些情况下，RLHF 模型会失去一些熵，也就是说它们会输出更加单调、变化更少的结果。而基础模型的熵更高，可以输出更加多样化的结果。

RLHF开源工具

DeepSpeed Chat：基于Opt系列模型进行示例。
ColossalChat：基于LLaMA系列模型进行示例。

分布式并行及显存优化技术

并行技术

数据并行：如 PyTorch DDP。
模型/张量并行：如 Megatron-LM（1D）、Colossal-AI（2D、2.5D、3D）。
流水线并行：如 GPipe、PipeDream、PipeDream-2BW、PipeDream Flush（1F1B）。
多维混合并行：如 3D并行（数据并行、模型并行、流水线并行）。
自动并行：如 Alpa（自动算子内/算子间并行）。
优化器相关的并行：如 ZeRO（零冗余优化器）、PyTorch FSDP。

显存优化技术

重计算 (Recomputation)：Activation checkpointing(Gradient checkpointing)，本质上是一种用时间换空间的策略。
卸载（Offload）技术：一种用通信换显存的方法，让模型参数、激活值等在CPU内存和GPU显存之间左右横跳。如 ZeRO-Offload、ZeRO-Infinity。
混合精度（BF16/FP16）：降低训练显存的消耗，还能将训练速度提升2-4倍。BF16 计算时可避免计算溢出，出现Inf case；FP16 在输入数据超过65506 时，计算结果溢出，出现Inf case。

分布式训练框架

如何选择一款分布式训练框架？

训练成本：不同的训练工具，训练同样的大模型，成本是不一样的。
训练类型：是否支持数据并行、张量并行、流水线并行、多维混合并行、自动并行等。
效率：将普通模型训练代码变为分布式训练所需编写代码的行数，我们希望越少越好。
灵活性：你选择的框架是否可以跨不同平台使用？

常见的分布式训练框架

深度学习框架自带的分布式训练功能：TensorFlow、PyTorch、MindSpore、Oneflow、PaddlePaddle等。
基于现有的深度学习框架进行扩展和优化：Megatron-LM（张量并行）、DeepSpeed（Zero-DP）、Colossal-AI（高维模型并行）、Alpa（自动并行）等。

目前训练超大规模语言模型主要有两条技术路线：

TPU + XLA + TensorFlow/JAX：由Google主导，由于TPU和自家云平台GCP深度绑定。
GPU + PyTorch + Megatron-LM + DeepSpeed：由NVIDIA、Meta、MicroSoft大厂加持，社区氛围活跃。

对于国内来说，华为昇腾在打造 AI 全栈软硬件平台（昇腾NPU+CANN+MindSpore+MindFormers）。不过目前整个生态相对前两者，还差很远。

参数高效微调（PEFT）技术

在面对特定的下游任务时，如果进行Full FineTuning（即对预训练模型中的所有参数都进行微调），太过低效；而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果。

PEFT技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。

主要方法

Prefix Tuning：在输入token之前构造一段任务相关的virtual tokens作为Prefix，然后训练的时候只更新Prefix部分的参数。为了防止直接更新Prefix的参数导致训练不稳定，他们在Prefix层前面加了MLP结构。
Prompt Tuning：该方法可以看作是Prefix Tuning的简化版本，只在输入层加入prompt tokens，并不需要加入MLP进行调整来解决难训练的问题。
P-Tuning：将Prompt转换为可以学习的Embedding层，并用MLP+LSTM的方式来对prompt embedding进行一层处理。
P-Tuning v2：让Prompt Tuning能够在不同参数规模的预训练模型、针对不同下游任务的结果上都达到匹敌Fine-tuning的结果。相比Prompt Tuning和P-tuning的方法，P-Tuning v2方法在多层加入了Prompts tokens作为输入。
Adapter Tuning：设计了Adapter结构（down-project -> 非线性层 -> up-project），并将其嵌入Transformer的结构里面，在训练时，固定住原来预训练模型的参数不变，只对新增的Adapter结构进行微调。
LoRA：在涉及到矩阵相乘的模块，引入A、B这样两个低秩矩阵模块去模拟full fine-tuning的过程，相当于只对语言模型中起关键作用的低秩本质维度进行更新。
QLoRA：使用一种新颖的高精度技术将预训练模型量化为 4 bit，然后添加一小组可学习的低秩适配器权重。
AdaLoRA：对LoRA的一种改进，它根据重要性评分动态分配参数预算给权重矩阵。

典型应用

ChatGLM-Tuning：基于清华的 ChatGLM-6B + LoRA 进行finetune。
Alpaca-Lora：使用低秩自适应（LoRA）复现斯坦福羊驼的结果。Stanford Alpaca 是在 LLaMA 整个模型上微调，而 Alpaca-Lora 则是利用 Lora 技术，在冻结原模型 LLaMA 参数的情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。
BLOOM-LORA：尝试使用Alpaca-Lora重新实现BLOOM-LoRA。

PEFT实现

PEFT：Huggingface推出的PEFT库。
unify-parameter-efficient-tuning：一个参数高效迁移学习的统一框架。

高效微调技术目前存在的两个问题

相比全参数微调，大部分的高效微调技术目前存在的两个问题：

推理速度会变慢。
模型精度会变差。

影响大模型性能的主要因素

OpenAI的论文 Scaling Laws for Neural Language Models 中列举了影响模型性能最大的三个因素：计算量、数据集大小、模型参数量。也就是说，当其他因素不成为瓶颈时，计算量、数据集大小、模型参数量这3个因素中的单个因素指数增加时，loss会线性的下降。

除了以上的因素之外，还有一个比较大的影响因素就是数据质量。在微软的论文 Instruction Tuning with GPT-4 中指出，同样基于LLaMA模型，使用GPT3和GPT4产生的数据，对模型进行Instruction Turing，可以看到GPT4的数据微调过的模型效果远远好于GPT3数据微调的模型。

衡量大模型水平

要评估一个大型语言模型的水平，可以从以下几个维度提出具有代表性的问题：

理解能力：提出一些需要深入理解文本的问题。
语言生成能力：让模型生成一段有关特定主题的文章或故事。
知识面广度：请模型回答关于不同主题的问题。
适应性：让模型处理各种不同类型的任务。
长文本理解/生成：处理长文本总结或创作完整情节的故事。
多样性：测试模型的创造力和多样性。
情感分析和推断：分析其中的情感和态度。
逻辑推理能力：回答需要进行推理或逻辑分析的问题。
问题解决能力：提出实际问题，如数学题、编程问题等。
道德和伦理：测试模型在处理有关道德和伦理问题时的表现。
对话和聊天：测试其对自然语言处理的掌握程度和能力。

大模型评估方法

人工评估：LIMA、Phoenix。
使用 GPT-4 的反馈进行自动评估：Vicuna、Phoenix、Chimera、BELLE。
指标评估：BLEU-4、ROUGE分数。
Chatbot Arena：放弃benchmark，通过对抗，实时聊天，两两比对人工进行打分，采用elo分数进行评测。

大模型评估工具

OpenAI evals：OpenAI的自动化评估脚本，核心思路就是通过写prompt模版来自动化评估。
PandaLM：直接训练了一个自动化打分模型，0,1,2三分制用模型对两个候选模型进行打分。

大模型推理加速

模型推理作为模型投产的最后一公里，需要确保模型精度的同时追求极致的推理性能。相比传统模型来说，大模型面临着更多的挑战。

当前优化模型最主要技术手段概括来说有以下三个层面：

算法层面：蒸馏、量化。
软件层面：计算图优化、模型编译。
硬件层面：FP8（NVIDIA H系列GPU开始支持FP8，兼有fp16的稳定性和int8的速度）。

推理加速框架

FasterTransformer：英伟达推出的FasterTransformer不修改模型架构而是在计算加速层面优化 Transformer 的 encoder 和 decoder 模块。尽可能多地融合除了 GEMM 以外的操作，支持 FP16、INT8、FP8，移除 encoder 输入中无用的 padding 来减少计算开销。
TurboTransformers：腾讯推出的 TurboTransformers 由 computation runtime 及 serving framework 组成。加速推理框架适用于 CPU 和 GPU，最重要的是，它可以无需预处理便可处理变长的输入序列。smart batching，对于一个 batch 内不同长度的序列，它也最小化了 zero-padding 开销。

AI 集群网络通信

通信硬件

机器内通信：共享内存（CPU与CPU）、PCIe（CPU与GPU）、NVLink（GPU与GPU）。
机器间通信：TCP/IP网络、RDMA（远程直接内存访问，包括 InfiniBand、iWarp、RoCE v2）。

通信软件

Gloo：Facebook 开源的一套集体通信库。
NCCL：英伟达基于 NVIDIA-GPU 的一套开源的集合通信库。
OpenMPI：一个开源 MPI（消息传递接口）的实现。
HCCL：华为开发的网络通信库。

通信网络监控

nvbandwidth：用于测量 NVIDIA GPU 带宽的工具。
DCGM：一个用于收集telemetry数据和测量 NVIDIA GPU 运行状况。

大模型生态相关技术

大模型是基座，要想让其变成一款产品，我们还需要一些其他相关技术。

LLM 应用开发工具

langchain：一个用于构建基于大型语言模型（LLM）的应用程序的库。
llama-index：一个将大语言模型和外部数据连接在一起的工具。
gpt-cache：LLM 语义缓存层，能够存储 LLM 响应，从而显著减少检索数据所需的时间。

向量数据库

Pinecone：如果想快速验证，是个不错的选择。
Milvus：如果需要更好的可扩展性和可靠性。
Vespa：如果想拥有更灵活的查询方式。
Weaviate：如果需要更好的可扩展性和可靠性。

经验与教训

经验

对于同一模型，选择不同的训练框架，对于资源的消耗情况可能存在显著差异。
进行大模型模型训练时，先使用小规模模型（如：OPT-125m/2.7b）进行尝试，然后再进行大规模模型（如：OPT-13b/30b…）的尝试，便于出现问题时进行排查。
对于一些国产AI加速卡，目前来说，坑还比较多，如果时间不是非常充裕，还是尽量选择Nvidia的AI加速卡。

教训

针对已有的环境进行分布式训练环境搭建时，一定要注意之前环境的python、pip、virtualenv、setuptools的版本。建议使用Docker相对来说更方便。
遇到需要升级GLIBC等底层库需要升级的提示时，一定要慎重，不要轻易升级，否则，可能会造成系统宕机或很多命令无法操作等情况。

大模型实践文章

以下列出了一些典型的LLM训练实践方向：

Alpaca：full fine-turning (7B)、lora (7B)。
BELLE：full fine-turning (7B)。
ChatGLM：lora (6B)、full fine-turning/P-Tuning v2 (6B)。
Vicuna：full fine-turning (7B)。
OPT：RLHF。
MiniGPT-4：full fine-turning (7B)。
Chinese-LLaMA-Alpaca：lora（预训练+微调）(7B)。