大模型实践涉及 AI 集群硬件配置、主流模型结构如 Transformer 与 MoE、开源模型如 LLaMA 与 ChatGLM、参数高效微调技术 PEFT 及 LoRA、分布式训练框架选择、推理加速方案以及评估方法。文章详细对比了不同硬件加速卡性能，分析了数据并行、张量并行与流水线并行的应用场景，并总结了 RLHF 原理与工具。此外还涵盖了向量数据库、LangChain 生态应用及实际训练中的经验教训，为开发者提供从底层架构到上层应用的全链路参考。
随着 ChatGPT 的迅速出圈，加速了大模型时代的变革。对于以 Transformer、MOE 结构为代表的大模型来说，传统的单机单卡训练模式肯定不能满足上千（万）亿级参数的模型训练，这时候就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进行模型训练。
由于目前只有 3 台 A800 GPU 服务器（共 24 卡），基于目前现有的一些 AI 框架和大模型，无法充分利用 3 台服务器。比如：OPT-66B 一共有 64 层 Transformer，当使用 Alpa 进行流水线并行时，通过流水线并行对模型进行切分，要么使用 16 卡，要么使用 8 卡，没法直接使用 24 卡，因此，GPU 服务器最好是购买偶数台（如：2 台、4 台、8 台）。
具体的硬件配置如下：
CPUs: 每个节点具有 1TB 内存的 Intel CPU，物理 CPU 个数为 64，每颗 CPU 核数为 16。
GPUs: 24 卡 A800 80GB GPUs，每个节点 8 个 GPU（3 个节点）。
目前使用 Huggingface Transformers 和 DeepSpeed 进行通过数据并行进行训练（pretrain），单卡可以跑三百亿参数（启用 ZeRO-2 或 ZeRO-3），如 OPT-30B，具体训练教程参考官方样例。
使用 Alpa 进行流水线并行和数据并行进行训练（fine tuning）时，使用了 3 台共 24 卡（PP：12，DP：2）进行训练 OPT-30B，具体训练教程参考官方样例。但是进行模型训练之前需要先进行模型格式转换，将 HF 格式转换为 Alpa 格式的模型文件，具体请参考官方代码。如果不想转换，官网也提供了转换好的模型格式。
前几天对 H800 进行过性能测试，整体上来说，对于模型训练（Huggingface Transformers）和模型推理（FasterTransformer）都有 30% 左右的速度提升。但是对于 H800 支持的新数据类型 FP8，目前很多开源框架暂不支持，虽然 Nvidia 自家一些开源框架支持该数据类型，目前不算太稳定。
目前，主流的 AI 处理器无疑是 NVIDIA 的 GPU，NVIDIA 的 GPU 产品主要有 GeForce、Tesla 和 Quadro 三大系列，虽然，从硬件角度来看，它们都采用同样的架构设计，也都支持用作通用计算 (GPGPU)，但因为它们分别面向的目标市场以及产品定位的不同，这三个系列的 GPU 在软硬件的设计和支持上都存在许多差异。其中，GeForce 为消费级显卡，而 Tesla 和 Quadro 归类为专业级显卡。GeForce 主要应用于游戏娱乐领域，而 Quadro 主要用于专业可视化设计和创作，Tesla 更偏重于深度学习、人工智能和高性能计算。
Tesla：A100（A800）、H100（H800）、A30、A40、V100、P100…
GeForce：RTX 3090、RTX 4090 …
Quadro：RTX 6000、RTX 8000 …
其中，A800/H800 是针对中国特供版（低配版），相对于 A100/H100，主要区别：
A100 的 Nvlink 最大总网络带宽为 600GB/s，而 A800 的 Nvlink 最大总网络带宽为 400GB/s。
H100 的 Nvlink 最大总网络带宽为 900GB/s，而 H800 的 Nvlink 最大总网络带宽为 400GB/s。
其他的一些国外 AI 处理器（加速卡）：
AMD：GPU MI300X
Intel：Xeon Phi
Google：TPU
国产 AI 处理器（加速卡）：
华为：昇腾 910（用于训练和推理），昇腾 310（用于推理）。采用自家设计的达芬奇架构。
海光 DCU：8100 系列（深算一号），以 GPGPU 架构为基础。
寒武纪：思元 370、思元 590。
百度：昆仑芯，采用的是其自研 XPU 架构。
阿里：含光 800。
模型结构：
目前主流的大模型都是 Transformer、MOE 结构为基础进行构建，如果说 Transformer 结构使得模型突破到上亿参数量，MoE 稀疏混合专家结构使模型参数量产生进一步突破，达到数万亿规模。
大模型算法：
可以说，Transformer 开创了继 MLP、CNN 和 RNN 之后的第四大类模型。而基于 Transformer 结构的模型又可以分为 Encoder-only、Decoder-only、Encoder-Decoder 这三类。
仅编码器架构（Encoder-only）：自编码模型（破坏一个句子，然后让模型去预测或填补），更擅长理解类的任务，例如：文本分类、实体识别、关键信息抽取等。典型代表有：Bert、RoBERTa 等。
仅解码器架构（Decoder-only）：自回归模型（将解码器自己当前步的输出加入下一步的输入，解码器融合所有已经输入的向量来输出下一个向量，所以越往后的输出考虑了更多输入），更擅长生成类的任务，例如：文本生成。典型代表有：GPT 系列、LLaMA、OPT、Bloom 等。
编码器 - 解码器架构（Encoder-Decoder）：序列到序列模型（编码器的输出作为解码器的输入），主要用于基于条件的生成任务，例如：翻译，概要等。典型代表有：T5、BART、GLM 等。
目前业界可以下载到的一些大语言模型：
ChatGLM-6B / ChatGLM2-6B：清华开源的中英双语的对话语言模型。目前，第二代 ChatGLM 在官网允许的情况下可以进行商用。
GLM-10B/130B：双语（中文和英文）双向稠密模型。
OPT-2.7B/13B/30B/66B：Meta 开源的预训练语言模型。
LLaMA-7B/13B/30B/65B：Meta 开源的基础大语言模型。
Alpaca（LLaMA-7B）：斯坦福提出的一个强大的可复现的指令跟随模型，种子任务都是英语，收集的数据也都是英文，因此训练出来的模型未对中文优化。
BELLE（BLOOMZ-7B/LLaMA-7B/LLaMA-13B）：本项目基于 Stanford Alpaca，针对中文做了优化，模型调优仅使用由 ChatGPT 生产的数据（不包含任何其他数据）。
Bloom-7B/13B/176B：可以处理 46 种语言，包括法语、汉语、越南语、印度尼西亚语、加泰罗尼亚语、13 种印度语言（如印地语）和 20 种非洲语言。其中，Bloomz 系列模型是基于 xP3 数据集微调。推荐用于英语的提示（prompting）；Bloomz-mt 系列模型是基于 xP3mt 数据集微调。推荐用于非英语的提示（prompting）。
Vicuna(7B/13B)：由 UC Berkeley、CMU、Stanford 和 UC San Diego 的研究人员创建的 Vicuna-13B，通过在 ShareGPT 收集的用户共享对话数据中微调 LLaMA 获得。其中，使用 GPT-4 进行评估，发现 Vicuna-13B 的性能在超过 90% 的情况下实现了与 ChatGPT 和 Bard 相匹敌的能力；同时，在 90% 情况下都优于 LLaMA 和 Alpaca 等其他模型。而训练 Vicuna-13B 的费用约为 300 美元。不仅如此，它还提供了一个用于训练、服务和评估基于大语言模型的聊天机器人的开放平台：FastChat。
Baize：白泽是在 LLaMA 上训练的。目前包括四种英语模型：白泽 -7B、13B、30B（通用对话模型）以及一个垂直领域的白泽 - 医疗模型，供研究 / 非商业用途使用，并计划在未来发布中文的白泽模型。白泽的数据处理、训练模型、Demo 等全部代码已经开源。
LLMZoo：来自香港中文大学和深圳市大数据研究院团队推出的一系列大模型，如：Phoenix（凤凰）和 Chimera 等。
MOSS：由复旦 NLP 团队推出的 MOSS 大语言模型。
baichuan-7B：由百川智能推出的大模型，可进行商用。
CPM-Bee：百亿参数的开源中英文双语基座大模型，可进行商用。
前两天测试了 BELLE，对中文的效果感觉还不错。具体的模型训练（预训练）方法可参考 Hugingface Transformers 的样例，SFT（指令精调）方法可参考 Alpaca 的训练代码。
从上面可以看到，开源的大语言模型主要有三大类：GLM 衍生的大模型（wenda、ChatSQL 等）、LLaMA 衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera 等）、Bloom 衍生的大模型（Bloomz、BELLE、Phoenix 等）。
| 模型 | 训练数据量 | 模型参数 | 训练数据范围 | 词表大小 |
|---|---|---|---|---|
| LLaMA | 1T～1.4T tokens(其中，7B/13B 使用 1T，33B/65B 使用 1.4T) | 7B～65B | 以英语为主要语言的拉丁语系 | 32000 |
| ChatGLM-6B | 约 1T tokens | 6B | 中文、英语 | 130528 |
| Bloom | 1.6TB 预处理文本，转换为 350B 唯一 tokens | 300M~176B | 46 种自然语言，13 种编程语言 | 250680 |
从表格中可以看到，对于像 ChatGLM-6B、LLaMA、Bloom 这类大模型，要保证基座模型有比较好的效果，至少需要保证上千亿、万亿级的 Token 量。
目前来看，LLaMA 无疑是其中最闪亮的星。但是国内关于 LLaMA 比较大的一个争论就是 LLaMA 是以英语为主要语言的拉丁语系上进行训练的，LLaMA 词表中的中文 token 比较少（只有几百个），需不需要扩充词表？如果不扩充词表，中文效果会不会比较差？
如果不扩充词表，对于中文效果怎么样？根据 Vicuna 官方的报告，经过 Instruction Turing 的 Vicuna-13B 已经有非常好的中文能力。
LLaMA 需不需要扩充词表？根据 Chinese-LLaMA-Alpaca 和 BELLE 的报告，扩充中文词表，可以提升中文编解码效率以及模型的性能。但是扩词表，相当于从头初始化开始训练这些参数。如果想达到比较好的性能，需要比较大的算力和数据量。同时，Chinese-LLaMA-Alpaca 也指出在进行第一阶段预训练（冻结 transformer 参数，仅训练 embedding，在尽量不干扰原模型的情况下适配新增的中文词向量）时，模型收敛速度较慢。如果不是有特别充裕的时间和计算资源，建议跳过该阶段。因此，虽然扩词表看起来很诱人，但是实际操作起来，还是很有难度的。
下面是 BELLE 针对是否扩充词表，数据质量、数据语言分布、数据规模对于模型性能的对比：
其中，BELLE-0.5M-CLEAN是从 230 万指令数据中清洗得到 0.5M 数据（包含单轮和多轮对话数据）。LLaMA-7B-EXT 是针对 LLaMA 做了中文词表扩充的预训练模型。
下面是 Chinese-LLaMA-Alpaca 针对中文 Alpaca-13B、中文 Alpaca-Plus-7B、中文 Alpaca-Plus-13B 的效果对比：
其中，Plus 系列 Alpaca 是在原版 LLaMA 的基础上扩充了中文词表，使用了 120G 中文通用纯文本数据进行二次预训练。
因此，如果既想要中文词表，又没有很大的算力，那建议直接使用 ChatGLM-6B 或者使用 BELLE 和 Chinese-LLaMA-Alpaca 进行中文词表扩充后训练好的模型作为 Base 模型。
目前业界可以下载到的一些多模态大模型：
MiniGPT-4：沙特阿拉伯阿卜杜拉国王科技大学的研究团队开源。
LLaVA：由威斯康星大学麦迪逊分校，微软研究院和哥伦比亚大学共同出品。
VisualGLM-6B：开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。
VisCPM：于 CPM 基础模型的中英双语多模态大模型。
轩辕：在 BLOOM-176B 的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调。
Cornucopia（聚宝盆）：开源了经过中文金融知识指令精调/指令微调 (Instruct-tuning) 的 LLaMA-7B 模型。通过中文金融公开数据 + 爬取的金融数据构建指令数据集，并在此基础上对 LLaMA 进行了指令微调，提高了 LLaMA 在金融领域的问答效果。基于相同的数据，后期还会利用 GPT3.5 API 构建高质量的数据集，另在中文知识图谱 - 金融上进一步扩充高质量的指令数据集。
BBT-FinCUGE-Applications：开源了中文金融领域开源语料库 BBT-FinCorpus，中文金融领域知识增强型预训练语言模型 BBT-FinT5 及中文金融领域自然语言处理评测基准 CFLEB。
ChatLaw：由北京大学开源的大模型，主要有 13B、33B。
LexiLaw：LexiLaw 是一个经过微调的中文法律大模型，它基于 ChatGLM-6B 架构，通过在法律领域的数据集上进行微调，使其在提供法律咨询和支持方面具备更高的性能和专业性。
LaWGPT：该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。
Lawyer LLaMA：开源了一系列法律领域的指令微调数据和基于 LLaMA 训练的中文法律大模型的参数。Lawyer LLaMA 首先在大规模法律语料上进行了 continual pretraining。在此基础上，借助 ChatGPT 收集了一批对中国国家统一法律职业资格考试客观题（以下简称法考）的分析和对法律咨询的回答，利用收集到的数据对模型进行指令微调，让模型习得将法律知识应用到具体场景中的能力。
DoctorGLM：基于 ChatGLM-6B 的中文问诊模型，通过中文医疗对话数据集进行微调，实现了包括 lora、p-tuningv2 等微调及部署。
BenTsao：源了经过中文医学指令精调/指令微调 (Instruct-tuning) 的 LLaMA-7B 模型。通过医学知识图谱和 GPT3.5 API 构建了中文医学指令数据集，并在此基础上对 LLaMA 进行了指令微调，提高了 LLaMA 在医疗领域的问答效果。
BianQue：一个经过指令与多轮问询对话联合微调的医疗对话大模型，基于 ClueAI/ChatYuan-large-v2 作为底座，使用中文医疗问答指令与多轮问询对话混合数据集进行微调。
HuatuoGPT：开源了经过中文医学指令精调/指令微调 (Instruct-tuning) 的一个 GPT-like 模型。
Med-ChatGLM：基于中文医学知识的 ChatGLM 模型微调，微调数据与 BenTsao 相同。
QiZhenGPT：该项目利用启真医学知识库构建的中文医学指令数据集，并基于此在 LLaMA-7B 模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对药品知识问答发布了评测数据集，后续计划优化疾病、手术、检验等方面的问答效果，并针对医患问答、病历自动生成等应用展开拓展。
XrayGLM：该项目为促进中文领域医学多模态大模型的研究发展，发布了 XrayGLM 数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。
MedicalGPT：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗 LoRA 模型 shibing624/ziya-llama-13b-medical-lora，基于 Ziya-LLaMA-13B-v1 模型，SFT 微调了一版医疗模型，医疗问答效果有提升，发布微调后的 LoRA 权重。
桃李（Taoli）：一个在国际中文教育领域数据上进行了额外训练的模型。项目基于目前国际中文教育领域流通的 500 余册国际中文教育教材与教辅书、汉语水平考试试题以及汉语学习者词典等，构建了国际中文教育资源库，构造了共计 88000 条的高质量国际中文教育问答数据集，并利用收集到的数据对模型进行指令微调，让模型习得将知识应用到具体场景中的能力。
EduChat：该项目华东师范大学计算机科学与技术学院的 EduNLP 团队研发，主要研究以预训练大模型为基底的教育对话大模型相关技术，融合多样化的教育垂直领域数据，辅以指令微调、价值观对齐等方法，提供教育场景下自动出题、作业批改、情感支持、课程辅导、高考咨询等丰富功能，服务于广大老师、学生和家长群体，助力实现因材施教、公平公正、富有温度的智能教育。
根据 OpenAI 之前做的一些实验，可以看到使用了 PPO（近端策略优化）算法的 RLHF 模型整体上都更好一些。当把结果提供给人类时，相比于 SFT 模型和通过 prompt 化身为助理的基础模型，人类也基本更喜欢来自 RLHF 模型的 token。
那 RLHF 为什么能让模型更好呢？目前 AI 研究界还没有找到一个得到大家认可的理论，一种可能与比较和生成的计算难度之间的不对称性有关。
举个例子说明一下：假设我们要让一个模型写一首关于回形针的俳句。如果你是一位正努力创建训练数据的合同工，正在为 SFT 模型收集数据。那么你该怎样写出一首关于回形针的好俳句呢？而你可能并不是一位优秀的俳句诗人。但是，如果给你几首俳句，你却有能力辨别它们中哪首更好一些。也就是说，比起创建一个好样本，判断哪个样本更好是简单得多的任务。因此，这种不对称性可能使得比较是一种更好的方法，能更好地利用人类的判断来创造出好一些的模型。
但目前来看，RLHF 并不总是会为基石模型带来提升。在某些情况下，RLHF 模型会失去一些熵，也就是说它们会输出更加单调、变化更少的结果。而基础模型的熵更高，可以输出更加多样化的结果。
下面是目前开源的一些 RLHF 工具：
DeepSpeed Chat：基于 Opt 系列模型进行示例。
ColossalChat：基于 LLaMA 系列模型进行示例。
并行技术：
数据并行（如：PyTorch DDP）
模型/张量并行（如：Megatron-LM（1D）、Colossal-AI（2D、2.5D、3D））
流水线并行（如：GPipe、PipeDream、PipeDream-2BW、PipeDream Flush（1F1B））
多维混合并行（如：3D 并行（数据并行、模型并行、流水线并行））
自动并行（如：Alpa（自动算子内/算子间并行））
优化器相关的并行（如：ZeRO（零冗余优化器，在执行的逻辑上是数据并行，但可以达到模型并行的显存优化效果）、PyTorch FSDP）
显存优化技术：
重计算 (Recomputation)：Activation checkpointing(Gradient checkpointing)，本质上是一种用时间换空间的策略。
卸载（Offload）技术：一种用通信换显存的方法，简单来说就是让模型参数、激活值等在 CPU 内存和 GPU 显存之间左右横跳。如：ZeRO-Offload、ZeRO-Infinity 等。
混合精度（BF16/FP16）：降低训练显存的消耗，还能将训练速度提升 2-4 倍。
BF16 计算时可避免计算溢出，出现 Inf case。
FP16 在输入数据超过 65506 时，计算结果溢出，出现 Inf case。
如何选择一款分布式训练框架？
训练成本：不同的训练工具，训练同样的大模型，成本是不一样的。对于大模型，训练一次动辄上百万/千万美元的费用。合适的成本始终是正确的选择。
训练类型：是否支持数据并行、张量并行、流水线并行、多维混合并行、自动并行等
效率：将普通模型训练代码变为分布式训练所需编写代码的行数，我们希望越少越好。
灵活性：你选择的框架是否可以跨不同平台使用？
常见的分布式训练框架：
第一类：深度学习框架自带的分布式训练功能。如：TensorFlow、PyTorch、MindSpore、Oneflow、PaddlePaddle 等。
第二类：基于现有的深度学习框架（如：PyTorch、Flax）进行扩展和优化，从而进行分布式训练。如：Megatron-LM（张量并行）、DeepSpeed（Zero-DP）、Colossal-AI（高维模型并行，如 2D、2.5D、3D）、Alpa（自动并行）等
目前训练超大规模语言模型主要有两条技术路线：
TPU + XLA + TensorFlow/JAX：由 Google 主导，由于 TPU 和自家云平台 GCP 深度绑定。
GPU + PyTorch + Megatron-LM + DeepSpeed：由 NVIDIA、Meta、MicroSoft 大厂加持，社区氛围活跃，也更受到大家欢迎。
对于国内来说，华为昇腾在打造 AI 全栈软硬件平台（昇腾 NPU+CANN+MindSpore+MindFormers）。不过目前整个生态相对前两者，还差很远。
在面对特定的下游任务时，如果进行 Full FineTuning（即对预训练模型中的所有参数都进行微调），太过低效；而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果。
PEFT 技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。因此，PEFT 技术可以在提高模型效果的同时，大大缩短模型训练时间和计算成本，让更多人能够参与到深度学习研究中来。除此之外，FEFT 可以缓解全量微调带来灾难性遗忘的问题。
Prefix Tuning：与 full fine-tuning 更新所有参数的方式不同，该方法是在输入 token 之前构造一段任务相关的 virtual tokens 作为 Prefix，然后训练的时候只更新 Prefix 部分的参数，而 Transformer 中的其他部分参数固定。该方法其实和构造 Prompt 类似，只是 Prompt 是人为构造的'显式'的提示，并且无法更新参数，而 Prefix 则是可以学习的'隐式'的提示。同时，为了防止直接更新 Prefix 的参数导致训练不稳定的情况，他们在 Prefix 层前面加了 MLP 结构 (相当于将 Prefix 分解为更小维度的 Input 与 MLP 的组合后输出的结果)，训练完成后，只保留 Prefix 的参数。
Prompt Tuning：该方法可以看作是 Prefix Tuning 的简化版本，只在输入层加入 prompt tokens，并不需要加入 MLP 进行调整来解决难训练的问题。随着预训练模型参数量的增加，Prompt Tuning 的方法会逼近 fine-tuning 的结果。
P-Tuning：该方法的提出主要是为了解决这样一个问题：大模型的 Prompt 构造方式严重影响下游任务的效果。P-Tuning 将 Prompt 转换为可以学习的 Embedding 层，并用 MLP+LSTM 的方式来对 prompt embedding 进行一层处理。
P-Tuning v2：让 Prompt Tuning 能够在不同参数规模的预训练模型、针对不同下游任务的结果上都达到匹敌 Fine-tuning 的结果。相比 Prompt Tuning 和 P-tuning 的方法，P-Tuning v2 方法在多层加入了 Prompts tokens 作为输入，带来两个方面的好处：
带来更多可学习的参数（从 P-tuning 和 Prompt Tuning 的 0.1% 增加到 0.1%-3%），同时也足够参数高效。
加入到更深层结构中的 Prompt 能给模型预测带来更直接的影响。
Adapter Tuning：该方法设计了 Adapter 结构（首先是一个 down-project 层将高维度特征映射到低维特征，然后过一个非线形层之后，再用一个 up-project 结构将低维特征映射回原来的高维特征；同时也设计了 skip-connection 结构，确保了在最差的情况下能够退化为 identity），并将其嵌入 Transformer 的结构里面，在训练时，固定住原来预训练模型的参数不变，只对新增的 Adapter 结构进行微调。同时为了保证训练的高效性（也就是尽可能少的引入更多参数）。
LoRA：在涉及到矩阵相乘的模块，引入 A、B 这样两个低秩矩阵模块去模拟 full fine-tuning 的过程，相当于只对语言模型中起关键作用的低秩本质维度进行更新。
QLoRA：使用一种新颖的高精度技术将预训练模型量化为 4 bit，然后添加一小组可学习的低秩适配器权重，这些权重通过量化权重的反向传播梯度进行微调。目前，训练速度较慢。
AdaLoRA：对 LoRA 的一种改进，它根据重要性评分动态分配参数预算给权重矩阵。
典型应用：
ChatGLM-Tuning：一种平价的 chatgpt 实现方案，基于清华的 ChatGLM-6B + LoRA 进行 finetune。
Alpaca-Lora：使用低秩自适应（LoRA）复现斯坦福羊驼的结果。Stanford Alpaca 是在 LLaMA 整个模型上微调，而 Alpaca-Lora 则是利用 Lora 技术，在冻结原模型 LLaMA 参数的情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。由于这些新增参数数量较少，这样不仅微调的成本显著下降，还能获得和全模型微调类似的效果。
BLOOM-LORA：由于 LLaMA 的限制，我们尝试使用 Alpaca-Lora 重新实现 BLOOM-LoRA。
PEFT 实现：
PEFT：Huggingface 推出的 PEFT 库。
unify-parameter-efficient-tuning：一个参数高效迁移学习的统一框架。
高效微调技术目前存在的两个问题：
相比全参数微调，大部分的高效微调技术目前存在的两个问题：
推理速度会变慢
模型精度会变差
OpenAI 的论文Scaling Laws for Neural Language Models中列举了影响模型性能最大的三个因素：计算量、数据集大小、模型参数量。也就是说，当其他因素不成为瓶颈时，计算量、数据集大小、模型参数量这 3 个因素中的单个因素指数增加时，loss 会线性的下降。
除了以上的因素之外，还有一个比较大的影响因素就是数据质量。在微软的论文Instruction Tuning with GPT-4中指出，同样基于 LLaMA 模型，使用 GPT3 和 GPT4 产生的数据，对模型进行 Instruction Turing，可以看到 GPT4 的数据微调过的模型效果远远好于 GPT3 数据微调的模型，可见数据质量带来的影响。同样的，Vicuna（7B/13B）的 Instruction Turing 中，也对 shareGPT 的数据做了很细致的清洗工作。
要评估一个大型语言模型的水平，可以从以下几个维度提出具有代表性的问题。
理解能力：提出一些需要深入理解文本的问题，看模型是否能准确回答。
语言生成能力：让模型生成一段有关特定主题的文章或故事，评估其生成的文本在结构、逻辑和语法等方面的质量。
知识面广度：请模型回答关于不同主题的问题，以测试其对不同领域的知识掌握程度。这可以是关于科学、历史、文学、体育或其他领域的问题。一个优秀的大语言模型应该可以回答各种领域的问题，并且准确性和深度都很高。
适应性：让模型处理各种不同类型的任务，例如：写作、翻译、编程等，看它是否能灵活应对。
长文本理解：提出一些需要处理长文本的问题，例如：提供一篇文章，让模型总结出文章的要点，或者请模型创作一个故事或一篇文章，让其有一个完整的情节，并且不要出现明显的逻辑矛盾或故事结构上的错误。一个好的大语言模型应该能够以一个连贯的方式讲述一个故事，让读者沉浸其中。
长文本生成：请模型创作一个故事或一篇文章，让其有一个完整的情节，并且不要出现明显的逻辑矛盾或故事结构上的错误。一个好的大语言模型应该能够以一个连贯的方式讲述一个故事，让读者沉浸其中。
多样性：提出一个问题，让模型给出多个不同的答案或解决方案，测试模型的创造力和多样性。
情感分析和推断：提供一段对话或文本，让模型分析其中的情感和态度，或者推断角色间的关系。
情感表达：请模型生成带有情感色彩的文本，如描述某个场景或事件的情感、描述一个人物的情感状态等。一个优秀的大语言模型应该能够准确地捕捉情感，将其表达出来。
逻辑推理能力：请模型回答需要进行推理或逻辑分析的问题，如概率或逻辑推理等。这可以帮助判断模型对推理和逻辑思考的能力，以及其在处理逻辑问题方面的准确性。例如：'所有的动物都会呼吸。狗是一种动物。那么狗会呼吸吗？'
问题解决能力：提出实际问题，例如：数学题、编程问题等，看模型是否能给出正确的解答。
道德和伦理：测试模型在处理有关道德和伦理问题时的表现，例如：'在什么情况下撒谎是可以接受的？'
对话和聊天：请模型进行对话，以测试其对自然语言处理的掌握程度和能力。一个优秀的大语言模型应该能够准确地回答问题，并且能够理解人类的语言表达方式。
大模型评估方法：
人工评估：LIMA、Phoenix
使用 GPT-4 的反馈进行自动评估：Vicuna、Phoenix、Chimera、BELLE
指标评估（BLEU-4、ROUGE 分数）：ChatGLM-6B；对于像 ROUGE-L 分数的指标评估，有些地方称其为非自然指令评估（Unnatural Instruction Evaluation）。
Chatbot Arena：目前用来衡量一个模型好不好的东西基本都是基于一些学术的 benchmark，比如在一个某个 NLP 任务上构建一个测试数据集，然后看测试数据集上准确率多少。然而，这些学术 benchmark（如 HELM）在大模型和聊天机器人上就不好用了。其原因在于：
由于评判聊天机器人聊得好不好这件事是非常主观的，因此，现有的方法很难对其进行衡量。
这些大模型在训练的时候就几乎把整个互联网的数据都扫了一个遍，因此，很难保证测试用的数据集没有被看到过。甚至更进一步，用测试集直接对模型进行「特训」，如此一来表现必然更好。
理论上我们可以和聊天机器人聊任何事情，但很多话题或者任务在现存的 benchmark 里面根本就不存在。
因此，Chatbot Arena 的做法是放弃 benchmark，通过对抗，实时聊天，两两比对人工进行打分，采用 elo 分数进行评测。
大模型评估工具：
OpenAI evals：OpenAI 的自动化评估脚本，核心思路就是通过写 prompt 模版来自动化评估。
PandaLM：其是直接训练了一个自动化打分模型，0,1,2 三分制用模型对两个候选模型进行打分。
模型推理作为模型投产的最后一公里，需要确保模型精度的同时追求极致的推理性能。相比传统模型来说，大模型面临着更多的挑战。
当前优化模型最主要技术手段概括来说有以下三个层面：
算法层面：蒸馏、量化
软件层面：计算图优化、模型编译
硬件层面：FP8（NVIDIA H 系列 GPU 开始支持 FP8，兼有 fp16 的稳定性和 int8 的速度）
推理加速框架：
FasterTransformer：英伟达推出的 FasterTransformer 不修改模型架构而是在计算加速层面优化 Transformer 的 encoder 和 decoder 模块。具体包括如下：
尽可能多地融合除了 GEMM 以外的操作
支持 FP16、INT8、FP8
移除 encoder 输入中无用的 padding 来减少计算开销
TurboTransformers：腾讯推出的 TurboTransformers 由 computation runtime 及 serving framework 组成。加速推理框架适用于 CPU 和 GPU，最重要的是，它可以无需预处理便可处理变长的输入序列。具体包括如下：
与 FasterTransformer 类似，它融合了除 GEMM 之外的操作以减少计算量
smart batching，对于一个 batch 内不同长度的序列，它也最小化了 zero-padding 开销
对 LayerNorm 和 Softmax 进行批处理，使它们更适合并行计算
引入了模型感知分配器，以确保在可变长度请求服务期间内存占用较小
机器内通信：
共享内存，比如：CPU 与 CPU 之间的通信可以通过共享内存。
PCIe，通常是 CPU 与 GPU 之间的通信，也可以用于 GPU 与 GPU 之间的通信。
NVLink（直连模式），通常是 GPU 与 GPU 之间的通信，也可以用于 CPU 与 GPU 之间的通信。
机器间通信：
TCP/IP 网络
RDMA：远程直接内存访问，目前主要有如下三种技术：
InfiniBand
iWarp
RoCE v2
下面是一些常见的网络通信库：
Gloo：Facebook 开源的一套集体通信库，提供了对机器学习中有用的一些集合通信算法。
NCCL：英伟达基于 NVIDIA-GPU 的一套开源的集合通信库。
OpenMPI：一个开源 MPI（消息传递接口）的实现，由学术，研究和行业合作伙伴联盟开发和维护。
HCCL：华为开发的网络通信库。
nvbandwidth：用于测量 NVIDIA GPU 带宽的工具。
DCGM：一个用于收集 telemetry 数据和测量 NVIDIA GPU 运行状况。
大模型是基座，要想让其变成一款产品，我们还需要一些其他相关技术：
langchain：一个用于构建基于大型语言模型（LLM）的应用程序的库。它可以帮助开发者将 LLM 与其他计算或知识源结合起来，创建更强大的应用程序。
llama-index：一个将大语言模型和外部数据连接在一起的工具。
gpt-cache：LLM 语义缓存层（caching layer），它采用语义缓存（semantic cache）技术，能够存储 LLM 响应，从而显著减少检索数据所需的时间、降低 API 调用开销、提升应用可扩展性。
Pinecone
Milvus
Vespa
Weaviate
总的来说，如果想快速验证，Pinecone 是个不错的选择。如果想拥有更灵活的查询方式，可以考虑 Vespa 或 Weaviate.如果需要更好的可扩展性和可靠性，那么经过大客户验证的 Vespa 或 Milvus 可能是不错的选择。
经验：
对于同一模型，选择不同的训练框架，对于资源的消耗情况可能存在显著差异（比如使用 Huggingface Transformers 和 DeepSpeed 训练 OPT-30 相对于使用 Alpa 对于资源的消耗会低不少）。
进行大模型模型训练时，先使用小规模模型（如：OPT-125m/2.7b）进行尝试，然后再进行大规模模型（如：OPT-13b/30b…）的尝试，便于出现问题时进行排查。目前来看，业界也是基于相对较小规模参数的模型（6B/7B/13B）进行的优化，同时，13B 模型经过指令精调之后的模型效果已经能够到达 GPT4 的 90% 的效果。
对于一些国产 AI 加速卡，目前来说，坑还比较多，如果时间不是时间非常充裕，还是尽量选择 Nvidia 的 AI 加速卡。
教训：
针对已有的环境进行分布式训练环境搭建时，一定要注意之前环境的 python、pip、virtualenv、setuptools 的版本。不然创建的虚拟环境即使指定对了 Python 版本，也可能会遇到很多安装依赖库的问题（GPU 服务器能够访问外网的情况下，建议使用 Docker 相对来说更方便）。
遇到需要升级 GLIBC 等底层库需要升级的提示时，一定要慎重，不要轻易升级，否则，可能会造成系统宕机或很多命令无法操作等情况。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
