大型模型科普指南

2.2 主流框架

根据这种网络架构的变形，主流的框架可以分为 Encoder-Decoder, Encoder-Only 和 Decoder-Only。

2.2.1 Encoder-Only

仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如文本分类、情感分析等，这类代表是 BERT 相关的模型，例如 BERT, RoBERTa, ALBERT 等。

BERT

BERT 是一种基于 Transformer 的预训练语言模型，它的最大创新之处在于引入了双向 Transformer 编码器，这使得模型可以同时考虑输入序列的前后上下文信息。

BERT 的工作原理是通过在大规模未标注数据上执行预训练任务（如 Masked Language Model 来捕获文本中词汇的双向上下文关系，以及 Next Sentence Prediction 来理解句子间的逻辑关系），再将预训练的模型针对特定任务进行 Fine-tuning，从而在各种自然语言处理任务中实现高性能。

2.2.2 Encoder-Decoder

既包含编码器也包含解码器，通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以 Google 训出来的 T5 为代表相关大模型。

2.2.3 Decoder-Only

仅包含解码器部分，通常用于序列生成任务，如文本生成、机器翻译等。这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。同时还有一个重要特点是可以进行无监督预训练。在预训练阶段，模型通过大量的无标注数据学习语言的统计模式和语义信息。这种方法可以使得模型具备广泛的语言知识和理解能力。在预训练之后，模型可以进行有监督微调，用于特定的下游任务（如机器翻译、文本生成等）。这类结构的代表也就是我们平时非常熟悉的 GPT 模型的结构，所有该家族的网络结构都是基于 Decoder-Only 的形式来逐步演化。

GPT (Generative Pre-trained Transformer)

GPT 架构：一种基于 Transformer 的预训练语言模型，它的最大创新之处在于使用了单向 Transformer 编码器，这使得模型可以更好地捕捉输入序列的上下文信息。

GPT 的工作原理是首先通过无监督预训练学习语言的统计规律，然后利用有监督微调将通用语言学知识与具体任务结合，提升模型性能。

• GPT 无监督预训练：旨在通过大型 Transformer 解码器和自回归训练，利用未标注数据学习语言的统计规律，从而生成流利且符合真实语言模式的文本。
• GPT 有监督微调：通过统一网络结构、利用预训练参数初始化和针对任务进行 Fine-tuning，将通用语言学知识与具体任务相结合，提升模型性能。

2.3 训练步骤

训练方式，这里主要参考 OpenAI 发表的关于 InstructGPT 的相关训练步骤，主流的大模型训练基本形式大多也是类似的：

1. 预训练（Pretraining） 预训练是大模型训练的第一步，目的是让模型学习语言的统计模式和语义信息。主流的预训练阶段步骤基本都是近似的，其中最重要的就是数据，需要收集大量的无标注数据，例如互联网上的文本、新闻、博客、论坛等等。这些数据可以是多种语言的，并且需要经过一定的清洗和处理，以去除噪音，无关信息以及个人隐私相关的，最后会以 tokenizer 粒度输入到上文提到的语言模型中。这些数据经过清洗和处理后，用于训练和优化语言模型。预训练过程中，模型会学习词汇、句法和语义的规律，以及上下文之间的关系。OpenAI 的 ChatGPT4 能有如此惊人的效果，主要的一个原因就是他们训练数据源比较优质。

2. 指令微调阶段（Instruction Tuning Stage） 在完成预训练后，就可以通过指令微调去挖掘和增强语言模型本身具备的能力，这步也是很多企业以及科研研究人员利用大模型的重要步骤。 Instruction tuning（指令微调）是大模型训练的一个阶段，它是一种有监督微调的特殊形式，旨在让模型理解和遵循人类指令。在指令微调阶段，首先需要准备一系列的 NLP 任务，并将每个任务转化为指令形式，其中指令包括人类对模型应该执行的任务描述和期望的输出结果。然后，使用这些指令对已经预训练好的大语言模型进行监督学习，使得模型通过学习和适应指令来提高其在特定任务上的表现。

   为了让模型训练更加高效和简单，这个阶段还有一种高效的 fine-tuning 技术，这为普通的从业者打开了通向使用大模型的捷径。 Parameter-Efficient Fine-Tuning (PEFT) 旨在通过最小化微调参数的数量和计算复杂度，达到高效的迁移学习的目的，提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。在训练过程中，预训练模型的参数保持不变，只需微调少量的额外参数，就可以达到与全量微调相当的性能。

   目前，很多研究对 PEFT 方法进行了探索，例如 Adapter Tuning 和 Prefix Tuning 等。其中，Adapter Tuning 方法在面对特定的下游任务时，将预训练模型中的某些层固定，只微调接近下游任务的几层参数。而 Prefix Tuning 方法则是在预训练模型的基础上，添加一些额外的参数，这些参数在训练过程中会根据特定的任务进行更新和调整。

   工业界现在常用的 Adapter Tuning 的技术是 Low-Rank Adaptation（LoRA）。它通过最小化微调参数的数量和计算复杂度，实现高效的迁移学习，以提高预训练模型在新任务上的性能。LoRA 的核心思想是将预训练模型的权重矩阵分解为两个低秩矩阵的乘积。通过这种分解，可以显著减少微调参数的数量，并降低计算复杂度。该方式和机器学习中经典的降维的思想很类似，类似地，LoRA 使用了矩阵分解技术中的奇异值分解 (Singular Value Decomposition, SVD) 或低秩近似 (Low-Rank Approximation) 方法，将原始权重矩阵分解为两个低秩矩阵的乘积。

   在微调过程中，LoRA 只更新这两个低秩矩阵的参数，而保持其他预训练参数固定不变。这样可以显著减少微调所需的计算资源和时间，并且在很多任务上取得了与全量微调相当的性能。 LoRA 技术的引入使得在大规模预训练模型上进行微调更加高效和可行，为实际应用提供了更多可能性。

3. 对齐微调（Alignment Tuning） 主要目标在于将语言模型与人类的偏好、价值观进行对齐，其中最重要的技术就是使用 RLHF（reinforcement learning from human feedback）来进行对齐微调。

   • Step 1. 预训练模型的有监督微调：先收集一个提示词集合，并要求标注人员写出高质量的回复，然后使用该数据集以监督的方式微调预训练的基础模型。
   • Step 2. 训练奖励模型：这个过程涉及到与人类评估者进行对话，并根据他们的反馈来进行调整和优化。评估者会根据个人偏好对模型生成的回复进行排序，从而指导模型生成更符合人类期望的回复。这种基于人类反馈的训练方式可以帮助模型捕捉到更多人类语言的特点和习惯，从而提升模型的生成能力。
   • Step 3. 利用强化学习模型微调：主要使用了强化学习的邻近策略优化（PPO，proximal policy optimization）算法，对于每个时间步，PPO 算法会计算当前产生和初始化的 KL 散度，根据这个分布来计算一个状态或动作的预期回报，然后使用这个回报来更新策略，达到对 SFT 模型进一步优化。

   但是这种算法存在一些比较明显的缺点，比如 PPO 是 on-policy 算法，每一次更新都需要收集新的样本，这就会导致算法的效率低下，并且更新是在每次训练时进行的，因此策略更新比较频繁，这就会导致算法的稳定性较差。

   所以当前有很多新的技术出来替代 RLHF 技术：

   • 直接偏好优化（DPO）是一种对传统 RLHF 替代的技术，作者在论文中提出拟合一个反映人类偏好的奖励模型，将奖励函数和最优策略之间的映射联系起来，从而把约束奖励最大化问题转化为一个单阶段的策略训练问题。然后通过强化学习来微调大型无监督语言模型，以最大化这个预估的奖励。这个算法具有简单有效和计算轻量级的特点，不需要拟合奖励模型，只需要进行单阶段训练，也不需要大量的超参数调节，所以在响应质量方面也通常优于传统的 RLHF。另外还有 RLAIF 从采样方式，生成训练奖励模型的评分的角度来替代原有的 PPO 的 RLHF 进行训练。

   对齐微调是一个关键的阶段，这一阶段使用强化学习从人类反馈中进行微调，以进一步优化模型的生成能力。它通过与人类评估者和用户的互动，不断优化模型的生成能力，以更好地满足人类期望和需求。

2.4 Prompt

作为大模型的一个技术分支，很多人接触大模型的第一步就是写 prompt，而这的确也是大模型发展的其中一个重要方向技术，也是很多实际运用问题解决的关键步骤。

Prompt 技术的基本思想是，通过给模型提供一个或多个提示词或短语，来指导模型生成符合要求的输出。本质上是通过恰当的初始化参数（也就是适当的输入语言描述），来激发语言模型本身的潜力。例如，在文本分类任务中，我们可以给模型提供一个类别标签的列表，并要求它生成与这些类别相关的文本；在机器翻译任务中，我们可以给模型提供目标语言的一段文本，并要求它翻译这段文本。

Prompt 根据常用的使用场景可以概括为以下四种：

• Zero-Shot Prompt: 在零样本场景下使用，模型根据提示或指令进行任务处理，不需要针对每个新任务或领域都进行专门的训练，这类一般作为训练通用大模型的最常见的评估手段。
• Few-Shot Prompt: 在少样本场景下使用，模型从少量示例中学习特定任务，利用迁移学习的方法来提高泛化性能，该类 prompt 也是很多实际应用案例都采取来进行大模型微调训练的方式。
• Chain-of-thought prompt: 这类 prompt 常见于推理复杂任务，它通过引导模型逐步解决问题，以一系列连贯的步骤展示推理的思路和逻辑关系。通过这种逐步推理的方式，模型可以逐渐获得更多信息，并在整个推理过程中累积正确的推断。
• Multimodal prompt: 这类 prompt 包含的信息就更丰富，主要是将不同模态的信息（如文本、图像、音频等）融合到一起，形成一种多模态的提示，以帮助模型更好地理解和处理输入数据。比如在问答系统中，可以将问题和相关图像作为多模态输入，以帮助模型更好地理解问题的含义和上下文背景，并生成更加准确和全面的答案。

在具体实践中，根据场景设计合适的 prompt 进行优化，评估也是大模型工程中重要的一步，对大模型准确率和可靠性提升是必不可少的，这步也是将模型潜在强大能力兑现的关键一环。

3. 大模型相关优化研究

Octopus v2

在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。 近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。 20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。 Octopus-V2-2B 是一个拥有 20 亿参数的开源语言模型，专为 Android API 量身定制，旨在在 Android 设备上无缝运行，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。

GPT-fast

[GPT-fast] 究竟是如何给大模型提速的？总的来说，用到这几种方法：

• Torch.compile：一个专门为 PyTorch 模型设计的编译器，可以提升模型运行效率。
• GPU 量化：通过减少计算的精度来加速模型的运算速度。
• 推测性解码：使用一个较小的模型来预测较大模型的输出，以此加快大语言模型的运算。
• 张量并行性：通过在多个硬件设备上分布模型的运算来加速处理速度。

TensorRT-LLM

当前 LLM 模型推理的主要瓶颈是 GPU 显存资源不足。因此，各类加速框架主要集中于降低 GPU 显存峰值和提高 GPU 使用率两大目标。 [TensorRT-LLM] 是 NVIDIA 推出的大语言模型（LLM）推理优化框架。它提供了一组 Python API 用于定义 LLMs，并且使用最新的优化技术将 LLM 模型转换为 TensorRT Engines，推理时直接使用优化后的 TensorRT Engines。

TensorRT-LLM 主要利用以下四项优化技术提升 LLM 模型推理效率。

1. 量化：模型量化技术是通过降低原始模型的精度来减少模型推理时的 GPU 显存使用。
2. In-Flight Batching：In-Flight Batching 又名 Continuous Batching 或 iteration-level batching，该技术可以提升推理吞吐率，降低推理时延。Continuous Batching 处理过程如下，当 S3 序列处理完成后插入一个新序列 S5 进行处理，提升资源利用率。详情可参考论文 Orca: A Distributed Serving System for Transformer-Based Generative Models。
3. Attention：Attention 机制用于从序列中提取关键/重要信息，在情感识别、翻译、问答等任务中起着至关重要的作用。Attention 机制按照演进顺序可以分为 MHA（Multi-head Attention）、MQA（Multi-query Attention）以及 GQA（Group-query Attention）机制。MQA 和 GQA 都是 MHA 的变种。
4. Graph Rewriting：TensorRT-LLM 在将 LLM 模型编译为 TensorRT Engines 时会对神经网络进行优化，提升执行效率。

4. 大模型应用

4.1 应用领域

根据输入数据类型的不同，大模型的应用主要分为一下四大类：

语言大模型

主要应用于自然语言处理领域，处理文本数据和理解自然语言。这类模型在大规模语料库上进行训练，学习自然语言的语法、语义和语境规则。例如，OpenAI 的 GPT 系列、Google 的 Bard、百度的文心一言、阿里的通义千问、华为的盘古、商汤的商量等。

视觉大模型

应用于计算机视觉领域，主要用于图像处理和分析。这类模型通过大规模图像数据进行训练，可以实现图像分类、目标检测、图像分割、姿态估计、人脸识别等视觉任务。目前，这个方向的应用尚在发展中。

多模态大模型

能够处理多种类型的数据，如文本、图像和音频等。这类模型结合了 NLP 和 CV 的能力，实现对多模态信息的综合理解和分析。例如，OpenAI 的 Sora、Google 的 Gemini（Gemma）、华为的悟空画画、Midjourney, Inc.的 Midjourney。

自动驾驶

在自动驾驶领域，大模型的概念同样得到了广泛应用。自动驾驶汽车系统中的大模型，具有高参数量和复杂深度学习架构，能够整合多种传感器数据（如摄像头、激光雷达、超声波传感器等），全方位感知和理解周围环境，以实现高级别自动驾驶功能。Tesla 在 2021 年提出了使用 Transformer 的纯视觉自动驾驶方案，这一方案在 2024 年已基本实现普及。

4.2 主流产品

当前大模型已经在很多领域开始产品化落地，除了 ChatGPT 这类大家熟知的产品，主要还有以下一些主流的应用：

1. 办公 Copilot 类产品：微软首先尝试使用大模型能力来接入旗下的 Office 系列软件，在 Word 中可以对文档进行总结并提出修改编辑的建议，也可以对所给的文章进行总结；此前一直头疼 Excel 各种复杂操作的用户现在也降低了使用门槛，可以直接通过描述就处理数据；PowerPoint 中通过对提出要求识别就能自动生成一份展示内容；在 Outlook 中直接使用自然语言来生成邮件内容等功能，实现真正的 AI 秘书。
2. Github Copilot 类产品：直接通过对话方式进行各种功能代码的生成，包括帮忙写测试用例，解释代码片段和 debug 程序问题，这个功能对解放程序员生产力取得了革命性的进步，能让开发人员更多的关注到业务理解，系统设计，架构设计等更高级需求的事情上。
3. 教育知识类产品：得益于大模型强大的理解以及知识储备，很多公司也嵌入其知识类产品进行应用，比如 chatPDF 就可以帮助经常看论文的科研人员快速地通过问答的方式进行文章的信息提取，理解以及总结重要内容，大大提升了阅读新论文的效率；对于学习语言的人来说，一款叫 Call Annie 的软件基本能取代口语老师的角色，并且可以无限时间，随时随地进行口语对话练习。
4. 搜索引擎和推荐系统：大模型可以应用于企业的搜索引擎和推荐系统，通过深度学习算法，对用户的搜索意图进行准确理解，提供更精准的搜索结果和个性化的推荐内容。这有助于提升用户体验，增加用户黏性，提高企业的转化率和销售额。
5. 公司业务定制化大模型：大模型具有通用性能力，但是在很多零样本的场景的表现依然比不上那个领域正在使用的产品，例如在某些垂直领域，包括工业领域，医药领域，管理领域等场景下进行专业问题，研究型问题的使用依然需要特定场景的数据进行微调，这种定制化的服务也能给企业带来巨大的效率提升和节省成本的收益，属于比较有前景的业务。
6. 计算相关上下游相关产业：很多公司正在积极探索基于 GPU、FPGA 和 ASIC 等硬件加速制造技术，以支持大模型的训练和推理速度。此外，云计算技术的发展也为大模型的训练提供了更多的计算资源支持，未来科技公司将积极探索基于云计算的分布式训练和推理技术。

除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景。

5. 大模型的挑战

1. 数据安全隐患：一方面大模型训练需要大量的数据支持，但很多数据涉及到机密以及个人隐私问题，如客户信息、交易数据等。需要保证在训练大模型的同时保障数据安全，防止数据泄露和滥用。OpenAI 在发布 ChatGPT 模型的时候用了数月来保证数据安全以及符合人类正常价值观标准。
2. 成本高昂：大模型的训练和部署需要大量的计算资源和人力资源，成本非常高昂。对于一些中小型企业而言，难以承担这些成本，也难以获得足够的技术支持和资源。
3. 无法保障内容可信：大模型会编造词句，无法保障内容真实可信、有据可查。当前使用者只能根据自己需求去验证生成的内容是否真实可信，很难具有权威说服力。
4. 无法实现成本可控：直接训练和部署千亿级参数大模型成本过高，企业级应用应使用百亿级基础模型，根据不同需求训练不同的垂直模型，企业则只需要负担垂直训练成本。但是，如何实现高效的垂直训练，如何控制成本，仍是大模型面临的问题之一。

以上挑战依然有很大空间值得改进，需要进一步研究和探索新的技术和方法。比如可以采用数据加密、隐私保护等技术来保障数据安全；可以通过改进模型架构、优化训练算法、利用分布式计算等方式来提高大模型的效率和性能；此外，还可以通过开源和共享模型资源来降低成本、促进大模型的普及和应用等方式。