本文梳理了 AI 大模型的核心概念与架构演变。涵盖大模型定义、分类及与大语言模型的区别。详解 Transformer 架构原理，包括 Self-attention、残差连接、Layer normalization 等关键技术。回顾 GPT 系列发展历程，从 GPT-1 到 GPT-4 的迭代，重点分析 ChatGPT 基于人类反馈强化学习（RLHF）的训练范式。对比主流大模型厂商产品，探讨技术优缺点及社会影响。最后介绍微调方法与 Self-attention 对比 CNN/RNN 的差异，为理解大模型技术提供系统性参考。
大模型（Large Model，也称基础模型，即 Foundation Model）是指具有巨大参数量的深度学习模型，通常包含数十亿甚至数万亿个参数。这些模型可以通过学习大量的数据来提高预测能力，能够处理海量数据、完成各种复杂的任务，在自然语言处理、计算机视觉、自主驾驶、语音识别等领域取得重要突破。
大模型的定义具体可以根据参数规模来分类。根据 OpenAI 的分类方法，可以将 AI 模型分为以下几类：
其中大型模型和超大型模型可以被视为 AI 大模型。超大模型是大模型的一个子集，它们的参数量远超过大模型。总的来说，'大模型'应该是基于具有超级大规模的、甚至可以称之为'超参数'的模型，需要大量的计算资源、更强的计算能力以及更优秀的算法优化方法进行训练和优化。
大语言模型（Large Language Model）：通常是具有大规模参数和计算能力的自然语言处理模型，例如 OpenAI 的 GPT-3 模型。这些模型可以通过大量的数据和参数进行训练，以生成人类类似的文本或回答自然语言的问题。大型语言模型在自然语言处理、文本生成和智能对话等领域有广泛应用。
GPT（Generative Pre-trained Transformer）：GPT 和 ChatGPT 都是基于 Transformer 架构的语言模型，但它们在设计和应用上存在区别：GPT 模型旨在生成自然语言文本并处理各种自然语言处理任务，如文本生成、翻译、摘要等。它通常在单向生成的情况下使用，即根据给定的文本生成连贯的输出。
ChatGPT：则专注于对话和交互式对话。它经过特定的训练，以更好地处理多轮对话和上下文理解。ChatGPT 设计用于提供流畅、连贯和有趣的对话体验，以响应用户的输入并生成合适的回复。
数据预处理：首先，需要对原始数据进行清洗、整理和标注，以便为模型提供合适的输入。这一阶段可能包括去除噪声、填充缺失值、归一化等操作。
构建神经网络：接下来，根据任务需求，设计并搭建一个神经网络。神经网络通常由多个层次组成，每个层次包含若干个神经元。神经元之间通过权重连接，用于表示输入数据与输出数据之间的关系。
前向传播：将经过预处理的数据输入到神经网络中，按照权重计算得出各层神经元的输出。这个过程称为前向传播。
激活函数：在神经网络的每一层之后，通常会使用激活函数 (如 ReLU、Sigmoid 或 Tanh 等) 对输出进行非线性变换，以增加模型的表达能力。
损失函数：为了衡量模型预测结果与真实目标之间的差距，需要定义一个损失函数。损失函数会计算预测误差，并将其作为优化目标。常见的损失函数有均方误差 (MSE)、交叉熵损失 (Cross-Entropy Loss) 等。
优化算法：根据损失函数，选择合适的优化算法 (如梯度下降、随机梯度下降、Adam 等) 来更新神经网络中的权重和偏置，以减小损失函数的值。这个过程称为反向传播。
训练与验证：重复执行上述步骤，直到模型在训练集上达到满意的性能。为了防止过拟合，还需要在验证集上评估模型的泛化能力。如果发现模型在验证集上的表现不佳，可以调整网络结构、超参数或训练策略等。
部署与使用：当模型在训练集和验证集上表现良好时，可以将数据模型进行部署和使用。
RAG（检索增强生成）：它是从外部知识库检索事实，结合大语言模型针对用户的问题作出回答。它确保模型能够访问最新、可靠的事实，并且用户能够访问模型的来源，确保可以检查其声明的准确性。RAG 开源工具包 LangChain，LlamaIndex 提供了构建 RAG 的众多组件：文本读取、索引、存储、大模型、评估。RAG 是一种范式，需要根据场景定制达到最好效果。
Residual Connection（残差连接）：Residual 的做法就是将输入加到输出上，作为最后的输出，这种思想在 Resnet 中提出。（假设神经网络某一层对 input x 进行了一个 F 操作，变为 F(x)，那么正常的神经网络输出为 F(x)，而加入残差连接以后，输出为 x+F(x)）。 残差结构的好处：显而易见：因为增加了一项，那么该层网络对 x 求偏导的时候，多了一个常数项，所以在反向传播过程中，梯度连乘不会造成梯度消失，这解决了深度神经网络的退化问题，同等层数的前提下残差网络也收敛得更快（这里可以理解为通过计算残差，下一层中只需继续优化未匹配的地方，所以收敛快）。
Layer Normalization：是数据归一化的一种方式，计算均值和方差。即 Transformer 结构图中的 Norm。
Masked Multi-head Self-attention：Self-attention 计算了所有输入的相关性，但是有些任务中，输入是存在时间（或空间）差异的，即有的输入不需要与后面的输入计算相关性，所以采用 masked 的做法，遮掩其后面的输入。
FNN 前馈网络：本质上就是几层神经网络层，其中间采用 ReLU 激活函数，两层之间采用残差连接。
词嵌入算法 Embedding：它将每个词转换为一个词向量。
上下文学习 (In-context learning)：一种通过在提示中加入特定任务示例来改进提示的方法，为 LLM 提供了完成任务的蓝图。
零样本 (Zero-shot) 推理：是在提示中直接使用输入数据，不添加额外示例。
单样本 (One-shot) 推理：使用单样本推理。
少样本 (Few-shot) 推理：使用少样本推理。
（如果零样本推理未能达到预期结果，可以使用单样本或少样本推理。这些策略涉及在提示中添加一个或多个已完成的示例，帮助较小的 LLM 表现得更好。）
微调：是一个监督学习过程，这意味着你使用标记好的示例数据集来更新 LLM 的权重。
反向传播（Backpropagation）：是神经网络中最常用的训练算法之一，主要用于计算神经网络中各个权重的梯度，从而使得网络能够适应不同的输入数据并提高预测准确度。其基本思想是通过将误差从网络输出层反向传播至输入层，利用链式法则计算各个层的权重梯度，从而进行权重更新，以最小化误差函数。
反向传播的具体实现过程中需要注意以下几点： 首先需要确定误差函数，通常使用均方误差（MSE）作为误差函数。接着需要使用前向传播计算出神经网络的输出结果。然后，通过将误差从输出层向输入层反向传播，计算出各个权重的梯度。最后，使用梯度下降等优化算法更新权重值，重复进行训练直至达到预期效果。
梯度下降算法：是一种常见的优化算法，它通过迭代的方式来更新模型参数，使得目标函数的值逐步下降，从而达到最优化的目的。具体来说，梯度下降算法每次迭代的步骤如下：
其中，学习率是控制每次迭代更新的步长大小的超参数。如果学习率设置过大，可能会导致算法无法收敛；如果学习率设置过小，可能会导致算法收敛速度过慢。
梯度下降算法有三种不同的形式：批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（MBGD）。BGD 每次迭代使用全部样本计算梯度，收敛速度慢但能够得到全局最优解；SGD 每次迭代只使用一个样本计算梯度，收敛速度快但容易陷入局部最优解；MBGD 每次迭代使用一部分样本计算梯度，综合了 BGD 和 SGD 的优点，是目前最常用的优化算法之一。
Self-attention 自注意力层
Vector：词向量
Query 向量：Q
Key 向量：K
Value 向量：V
权值矩阵：W_Q, W_K, W_V，这是通过学习得到，需要更新
Q、K、V 是由嵌入向量 * 权值矩阵得到：X * (W_Q, W_K, W_V)
计算两个矩阵相似度的方法之一：点积
RLHF：基于来自人类反馈的强化学习
PPO：近端策略优化
RM：奖励模型 (Reward Model)
大模型相较于传统特定领域训练出来的语言模型，有更广泛的应用场景。
1. Transformer 模型的提出
在 Transformer 提出之前，自然语言处理领域的主流模型是循环神经网络 RNN，使用递归和卷积神经网络进行语言序列转换。
2017 年，谷歌大脑团队在人工智能领域的顶会 NeurIPS 发表了一篇名为'Attention is all you need'的论文，首次提出了一种新的简单网络架构，即 Transformer，它完全基于注意力机制 (attention)，完全摒弃了循环递归和卷积。
递归模型通常沿输入和输出序列的符号位置进行计算，来预测后面的值。但这种固有的顺序性质阻碍了训练样例内的并行化，因为内存约束限制了样例之间的批处理。而注意力机制允许对依赖项进行建模，而无需考虑它们在输入或输出序列中的距离。
Transformer 避开了递归网络的模型体系结构，并且完全依赖于注意力机制来绘制输入和输出之间的全局依存关系。
在八个 P100 GPU 上进行了仅仅 12 个小时的训练之后，Transformer 就可以在翻译质量方面达到新的最先进水平，体现了很好的并行能力。
总结两个核心突破：
OpenAI 基于该工作基础上发展了 GPT（Generative Pre-training）生成式预训练模型。
2. 生成式预训练初现潜力：GPT-1
2018 年，OpenAI 公司发表了论文'Improving Language Understanding by Generative Pre-training'，使用的模型有两个阶段，第一阶段是无监督预训练，基于海量的文本集通过 Transformer 学习一个大容量的语言模型，第二阶段基于标注数据进行参数微调。
得到的一般任务不可知模型（或称为通用模型）优于经过判别训练的模型，在论文选定的 12 种数据集中有 9 个取得更好效果。
在 GPT-1 中，采用了 12 层 Transformer 的结构作为解码器，每个 Transformer 层是一个多头的自注意力机制，然后通过全连接得到输出的概率分布。这次实践对 OpenAI 来讲，奠定了他们往这个路线发展的核心因素。
主要有几个重点突破：
3. 泛化能力突破：GPT-2
2019 年，OpenAI 发表了最新进展，一篇'Language Models are Unsupervised Multitask Learners'的论文。重点实践了更大的模型更广的数据集具有更好的泛化能力。GPT-1 是 12 层的 transformer，BERT 最深是 24 层的 transformer，GPT-2 则是 48 层，共有 15 亿个参数的 transformer，训练集叫 WebText，是从 4500 万个链接提取文本去重后，得到 800 万文档共 40GB 文本。论文认为现有系统用单个任务来训练的单个领域数据集，是缺乏模型泛化能力的主要原因，因此在更广的数据集上，GPT-2 采用了多任务 (multitask) 的方式，每一个任务都要保证其损失函数能收敛，不同的任务共享主体 transformer 参数。
最终训练出来的模型在不需要任何参数和模型改动下，在 zero-shot（零样本）任务中，在 8 个数据集中有 7 个表现为业界最优，这个泛化能力可以说已经很强大了，并且在机器翻译场景取得亮眼结果，GPT 也是在 2.0 出来后，开始备受关注。
4. 更大参数更大数据集：GPT-3
2020 年发布，之前的模型要在特定领域有更好表现，依然需要上千条标注样本数据来进行 finetune，很大程度影响了模型的通用性，而人类能够根据前面一句话知道语境（in-context)，从而正确回答问题。GPT3 就通过调大参数 (1750 亿）来测试 in-context 学习能力，并在没有 finetune 情况下得到以下数据。在参数不断增加的同时，分为三种场景看回答准确率表现：Zero-shot（0 样本），One-shot（只给一个标准样本），Few-shot（少量标准样本，1000 条左右）。下图可以看到模型参数和样本集对正确性的影响，随着参数增多，Few-shot 相比 Zero-shot 的提升效果在拉大，说明越大的参数对样本具有更强的泛化能力。
5. 火爆的 ChatGPT：GPT 3.5
2022 年 3 月，OpenAI 再次发表论文'Training language models to follow instructions with human feedback'，通过人工反馈和微调，使语言模型与用户对各种任务的意图保持一致。并推出了 InstructGPT 模型，InstructGPT 是基于 GPT-3 的一轮增强优化，所以也被称为 GPT-3.5。尽管 GPT3.5 还会犯一些简单的错误，但论文工作表明利用人类反馈进行微调是一个很有前景的方向。
InstructGPT 模型的参数为 1.3B，而 GPT-3 模型的参数为 175B，约为 InstructGPT 模型的 130 倍，但 InstructGPT 模型的输出却优于 GPT-3 模型的输出。
训练过程首先聘请了 40 个承包商来标注数据，收集提交给 OpenAI 的 prompts 的人工答案样本集，以及一些人工写的 prompts 作为训练监督学习的基线。
然后，在更大的 prompts 集上对比 OpenAI 的输出，并人工标记差距，据此训练出一个奖励模型 (Reward Model) 来预测人类喜好的输出。
最后用 PPO 来最大化这个奖励模型和 fine-tune 对监督模型的效果。这部分具体技术细节将在后面展开。
论文认为模型如果有价值观的话，体现更多的是标注者的价值观念而不是更广泛人的价值观。
对人类任务意图的识别，是一个非常重要的能力。ChatGPT 采用 InstructGPT 相同结构的模型，针对 Chat 进行了专门的优化，同时开放到公众测试训练，以便产生更多有效标注数据。
基于人类反馈的强化学习（RLHF）是 ChatGPT 区别于其他生成类模型的最主要特点，该法帮助模型尽量减少有害的、不真实的及有偏见的输出，提升自然沟通效果。同时，为了更好地支持多轮对话，ChatGPT 引入了一种基于堆栈的上下文管理的机制，帮助 ChatGPT 跟踪和管理多轮对话中的上下文信息，从而在多轮对话中生成连贯自然的回复。2022 年 11 月发布。
6. GPT-4
2023 年 3 月 14 日发布的新模型，是一个多模态大模型，是指第四代自然语言处理领域的大型预训练语言模型，没有免费版本。先有 ChatGPT 再有 GPT-4。
GPT-4 和 ChatGPT 都是自然语言处理领域的大型语言模型，都是基于 Transformer 架构的语言模型，但它们有以下主要区别：
模型结构：GPT-4 是 GPT 系列的最新版本，拥有更大的模型规模和更多的参数，是大型多模态模型（接受图像和文本输入，发出文本输出）。这种规模的增加使得 GPT-4 能够处理更复杂的任务并生成更准确、更多样化的文本。而 ChatGPT 则是一种基于 GPT 的聊天机器人模型，核心技术是基于 GPT 模型的自然语言处理算法，通过多层感知机和注意力机制来对自然语言文本进行处理和生成，这使得机器人生成的回答更加贴近实际情况，符合人类的语言特点。
规模和计算资源：GPT-4 的模型规模更大，参数量达到了 1.75 万亿，比之前的 GPT-3 的参数量增加了 50%，这使得它的能力和性能更加卓越。ChatGPT 的模型规模相对较小，参数量只有 1.6 万亿，更适合于实时的交互式的对话场景。GPT-4 需要更多的计算资源和存储空间，而 ChatGPT 则更加注重交互体验和实时性，需要更快的响应速度和更低的延迟。
训练数据和训练方法：GPT-4 使用了大规模的文本语料库进行训练，包括互联网上的数据、书籍、论文等。而 ChatGPT 针对对话领域进行了专门优化，从大量的对话数据中学习并进行模型的强化学习优化。这使得两者在处理任务和生成回复时有所差异。
理解和推理能力：GPT-4 在复杂问题的思考上表现得更智能，可以推断出例如因果关系等事物内在的联系，并且可以根据上下文调整应对策略，尝试回答各种自然语言问题，并提供相关的知识和信息。相比之下，ChatGPT 的理解和推理能力较为一般，主要进行简单的理解和推理。
应用领域：GPT-4 被广泛应用于文本摘要、对话生成、机器翻译、文本生成、文本分类、问答系统等多个领域，广泛应用于自然语言处理领域的各种应用中。
ChatGPT 则专注于聊天交互和情感沟通，它经过特定的训练，以更好地处理多轮对话和上下文理解，以响应用户的输入并生成合适的回复。主要应用于聊天机器人、客服机器人、智能客服、智能助手、社交媒体、教育等领域，专注于与用户进行自然的富有表现力的交流，比如可以写文案、通知、总结、提纲、简历、故事、做策划、营销方案、工作计划、总结、编程写代码、写朋友圈、抖音、小红书文案、写旅游攻略。
可视化和应用前景：GPT-4 还具备视觉分析能力，这是 ChatGPT 所不具备的。它不仅可以识别和处理文本内容，还能够处理图像、视频等内容。此外，由于其卓越的性能和多领域的适用性，GPT-4 具有更加广阔的应用前景。
开放程度和使用门槛：目前 GPT-4 还没有完全开放给公众使用，主要在研究机构和大型企业中得到应用。相反，ChatGPT 在某些版本中已对公众开放，更容易被广泛应用于不同领域的项目中。
总的来说，GPT-4 是一个功能更全面、性能更强大的自然语言处理模型；而 ChatGPT 则在特定领域内表现出色，特别是在与用户的实时交流方面。
2022 年 11 月 30 日，由总部位于旧金山的 OpenAI 推出 ChatGPT3.5。 2023 年 2 月，Google 推出类似于 ChatGPT 的对话人工智能服务 Bard，基于其开发的对话编程语言模型 (LaMDA)。但有很多限制，文字处理仅支持美式英语。 2023 年 3 月 12 日，OpenAI 发布多模态模型 GPT-4，并计划推出图像输入功能。 2023 年 2 月，百度也于确认类 ChatGPT 聊天机器人项目名字确定为'文心一言'，英文名 ERNIE Bot。 2023 年 2 月，复旦大学自然语言处理实验室邱锡鹏教授团队推出对话式大型语言模型 MOSS。 2023 年 3 月 14 日，由清华技术成果转化的公司智谱 AI 基于 GLM-130B 千亿基座模型的 ChatGLM 开启邀请制内测，同时开源了中英双语对话模型 ChatGLM-6B，支持在单张消费级显卡上进行推理使用。 2023 年 4 月 7 日，阿里云研发语言模型'通义千问'开始邀请用户测试体验。现阶段该模型主要定向邀请企业用户进行体验测试，获得邀请码用户可通过官网参与体验。 2023 年 5 月 6 日，科大讯飞发布认知大模型'星火'。科大讯飞董事长刘庆峰表示，当前讯飞星火认知大模型已经在文本生成、知识问答、数学能力三大能力上已超 ChatGPT，10 月底将整体赶超 ChatGPT。 2023 年 3 月，由前 OpenAI 员工共同创立的初创公司 Anthropic 推出了大型语言模型 Claude。它可以被指示执行一系列任务，包括搜索文档，总结，写作和编码，以及回答有关特定主题的问题。 2023 年 3 月，华为宣布即将推出盘古大模型。
AI 大模型的训练主要分为：数据预处理、模型构建、模型训练、模型评估四个步骤，更加详细的介绍如下所示:
Transformer 模型的作用
基于 seq2seq 架构的 Transformer 模型可以完成 NLP 领域研究的典型人物，如机器翻译、文本生成等，同时又可以构建预训练语言模型，用于不同任务的迁移学习。
Transformer 模型总体架构可分为 4 部分：输入部分、输出部门、编码器部分、解码器部分
输入部分包括：源文件嵌入层及位置编码器；目标文本嵌入层及位置编码器
输出部分包括：线性层和 softmax 层
编码器部门： 由 N 个编码器堆叠而成；每个编码器层由 2 个子层连接结构组成；第一个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接；第二个子层连接结构包括前馈全连接子层和规范化层以及一个残差连接； 也可以说每个编码器由两个子层组成：Self-Attention 层（自注意力层）和 Position-wise Feed Forward Network（前馈网络，缩写为 FFN）
解码器部门： 由 N 个编码器堆叠而成；每个编码器层由 3 个子层连接结构组成；第一个子层连接结构包括一个多头自注意力子层（Masked Multi-head self-attention：用来帮助解码器关注输入句子中需要关注的相关部分）和规范化层以及一个残差连接；第二个子层连接结构包括多头注意力子层和规范化层以及一个残差连接；第三个子层连接结构包括前馈全连接子层和规范化层以及一个残差连接；
编码器对文本的处理 对文本处理和通常的 NLP 任务一样，首先使用词嵌入算法（Embedding）将每个词转换为一个词向量 (vector)。嵌入仅发生在最底层的编码器中，其他编码器接收的是上一个编码器的输出。这个列表大小是我们可以设置的参数——基本上这个参数就是训练数据集中最长句子的长度。对输入序列完成嵌入操作后，每个词都会流经编码器内的两层，然后逐个编码器向上传递。
Self-attention 突破了文本关注距离的限制；计算并行化
每个单词有 3 个不同的向量，他们分别是 Query 向量（Q）, Key 向量（K）和 Value 向量（V），长度均为 64。它们都是通过 3 个不停的权值矩阵由嵌入向量 X 乘与三个不同的权值矩阵 W_Q, W_K, W_V 得到，其中单个矩阵的尺寸也是相同的。均是 512 x 64。
Query 向量（Q）, Key 向量（K）和 Value 向量（V）的概念取自于信息检索系统，举个简单的搜索例子： 当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是 Query，然后搜索引擎根据 Query 为你匹配 Key（例如商品的种类，颜色，描述等），然后根据 Query 和 Key 的相似度得到匹配的内容（Value)。
Self-attention 中的 Q，K，V 也是起着类似的作用，在矩阵计算中，点积是计算两个矩阵相似度的方法之一。
多注意力机制 Multi-headed attention 增加了自注意能力：
论文用了 8 个注意头，那就有 8 组不同的 Q/K/V 矩阵，每个输入的词向量都被投影到 8 个表示子空间中进行计算。
ChatGPT 的背后是大型语言模型 (LLM) 生成领域的新训练范式：RLHF，即基于来自人类反馈的强化学习来优化语言模型。关于 RLHF 训练有个 TAMER 框架值得参考。RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，这里我们按三个步骤分解：预训练一个语言模型 (LM)；聚合问答数据并训练一个奖励模型 (Reward Model，RM)；用强化学习 (RL) 方式微调 LM。
GPT3 训练后的大语言模型是根据概率分布，计算出下一个最大可能的词，他不管事实逻辑上的准确性，也没有所谓的意识，所以有时会一本正经地胡说八道。
RLHF 是用生成文本的人工反馈作为性能衡量标准，或更进一步用该反馈作为奖励来优化模型，使得在一般文本数据语料库上训练的语言模型能和复杂的人类价值观对齐。首先，我们使用经典的预训练目标训练一个语言模型。对这一步的模型，OpenAI 在其第一个流行的 RLHF 模型 InstructGPT 中使用了较小版本的 GPT-3。
然后进行以下步骤：
第一步：训练监督策略语言模型 GPT-3 本身无法识别人类指令蕴含的不同意图，也很难判断生成内容是否高质量。为了解决这一问题，训练过程是从数据集中随机抽取问题，由标注人员给出高质量答案，相当于提供了一系列人工编写的 prompts 和对应的答案数据集。然后用这些人工标注好的数据集微调 GPT3.5 模型，获得 SFT 模型 (Supervised Fine-Tune)。
第二步：训练奖励模型 训练方法：根据第一阶段的模型，随机抽取问题，给出多个不同的回答，人工选出最优答案进行标注，有点类似教学辅导。将高质量答案的奖励值进入下一轮强化学习 RL，训练一个奖励模型来预测人类偏好的输出。RM 的训练是 RLHF 区别于旧范式的开端。这一模型接收一系列文本并返回一个标量奖励，数值上对应人的偏好。我们可以用端到端的方式用 LM 建模，或者用模块化的系统建模 (比如对输出进行排名，再将排名转换为奖励)。这一奖励数值将对后续无缝接入现有的强化学习 RL 算法至关重要。关于模型选择方面，RM 可以是另一个经过微调的 LM，也可以是根据偏好数据从头开始训练的 LM。微调 LM 被认为对样本数据的利用率更高，但对于哪种 RM 更好尚无定论。
第三步：近端策略优化 (Proximal Policy Optimization，PPO) 使用 PPO 优化奖励模型的策略。使用奖励模型的输出作为标量奖励，并使用 PPO 算法对监督策略进行微调，以优化该奖励。
训练方法：PPO 的核心目的是将在线的人工学习转为离线学习，机器自己给自己打分。利用第二阶段训练好的奖励模型，在数据集中随机抽取问题，使用 PPO 模型生成多个回答，并用上一阶段训练好的 RM 模型分别给出质量分数。把回报分数按排序依次传递，产生策略梯度，通过强化学习的方式更新 PPO 模型参数。最后步骤二和步骤三可以循环迭代，可以不断完善模型。
总体来说，ChatGPT 在人工标注的 prompts 和回答里训练出 SFT 监督策略模型，再通过随机问题由模型给出多个答案，然后人工排序，生成奖励模型，再通过 PPO 强化训练增强奖励效果。最终 ChatGPT 能够更好理解指令的意图，并且按指令完成符合训练者价值观的输出。最后，大语言模型作为一个被验证可行的方向，其'大'体现在数据集广泛，参数和层数大，计算量大，其价值体现在通用性上，有广泛的应用场景。大语言模型能够发展，主要还是模型具备很好的并行扩展性，随着数据量和计算量的增加，主要挑战在工程和调优上。
优点:
不足:
大模型在自然语言处理、计算机视觉、医疗诊断、交通控制等领域带来积极的影响。但与此同时，大模型也可能会带来以下一些社会影响：
LoRA, Adapter, Prefix-tuning, P-tuning, Prompt-tuning。
优点
缺点
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
