本文介绍了大型模型的基本概念、核心架构及训练流程。大模型指参数规模庞大的深度学习模型，涵盖语言、视觉及多模态领域。核心技术基于 Transformer 架构，通过注意力机制解决长依赖和并行计算问题。主流框架分为 Encoder-Only、Encoder-Decoder 和 Decoder-Only 三类。训练包含预训练、指令微调和对齐微调三个阶段，其中 LoRA 和 RLHF/DPO 是关键优化技术。应用场景覆盖办公、编程、教育及自动驾驶等领域，但仍面临数据安全、成本和内容可信等挑战。
大模型是指具有数千万甚至数亿参数的深度学习模型。
当我们提及大模型时，通常指的是大语言模型（Large Language Model，简称 LLM），即文字问答模型，其典型代表便是 OpenAI 的 GPT 系列。然而，随着技术的日新月异，大模型已经不单单局限于自然语言处理（Natural Language Processing）领域的发光发热，而是逐渐渗透到了其他多个领域。例如，Midjourney, Inc.推出的文生图模型 Midjourney、OpenAI 推出的文生视频模型 Sora 等等，都是大模型在不同领域的成功应用案例。
大模型的原理是基于深度学习，它利用大量的数据和计算资源来训练具有大量参数的神经网络模型。通过不断地调整模型参数，使得模型能够在各种任务中取得最佳表现。通常说的大模型的'大'的特点体现在：参数数量庞大、训练数据量大、计算资源需求高等。很多先进的模型由于拥有很'大'的特点，使得模型参数越来越多，泛化性能越来越好，在各种专门的领域输出结果也越来越准确。现在市面上比较流行的任务有 AI 生成语言（ChatGPT 类产品）、AI 生成图片（Midjourney 类产品）等，都是围绕生成这个概念来展开应用。
'生成'简单来说就是根据给定内容，预测和输出接下来对应内容的能力。比如最直观的例子就是成语接龙，可以把大语言模型想象成成语接龙功能的智能版本，也就是根据最后一个字输出接下来一段文章或者一个句子。
传统的语言助手，如 Siri 和小爱同学，主要依赖于 RNN（循环神经网络）或 LSTM（长短期记忆）技术。然而，这些技术存在一个显著的弊端：随着上下文的增加，模型会逐渐'遗忘'之前的信息，导致在连续对话中，语言助手无法提供连贯、准确的回应，给出的回答更是牛头不对马嘴。GPT 则采用了 Transformer 架构，有效解决模型遗忘历史信息的问题。
当前流行的大模型的网络架构其实并没有很多新的技术，还是一直沿用当前 NLP 领域最热门最有效的架构——Transformer 结构。相比于传统的循环神经网络（RNN）和长短时记忆网络（LSTM），Transformer 具有独特的注意力机制（Attention），这相当于给模型加强理解力，对更重要的词能给予更多关注，同时该机制具有更好的并行性和扩展性，能够处理更长的序列，立马成为 NLP 领域具有奠基性能力的模型，在各类文本相关的序列任务中取得不错的效果。
由输入部分（输入输出嵌入与位置编码）、多层编码器、多层解码器以及输出部分（输出线性层与 Softmax）四大部分组成。
输入部分：
编码器部分：
解码器部分：
输出部分：
Transformer 工作原理如下：
根据这种网络架构的变形，主流的框架可以分为 Encoder-Decoder, Encoder-Only 和 Decoder-Only。
仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如文本分类、情感分析等，这类代表是 BERT 相关的模型，例如 BERT, RoBERTa, ALBERT 等。
BERT
BERT 是一种基于 Transformer 的预训练语言模型，它的最大创新之处在于引入了双向 Transformer 编码器，这使得模型可以同时考虑输入序列的前后上下文信息。
BERT 的工作原理是通过在大规模未标注数据上执行预训练任务（如 Masked Language Model 来捕获文本中词汇的双向上下文关系，以及 Next Sentence Prediction 来理解句子间的逻辑关系），再将预训练的模型针对特定任务进行 Fine-tuning，从而在各种自然语言处理任务中实现高性能。
既包含编码器也包含解码器，通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以 Google 训出来的 T5 为代表相关大模型。
仅包含解码器部分，通常用于序列生成任务，如文本生成、机器翻译等。这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。同时还有一个重要特点是可以进行无监督预训练。在预训练阶段，模型通过大量的无标注数据学习语言的统计模式和语义信息。这种方法可以使得模型具备广泛的语言知识和理解能力。在预训练之后，模型可以进行有监督微调，用于特定的下游任务（如机器翻译、文本生成等）。这类结构的代表也就是我们平时非常熟悉的 GPT 模型的结构，所有该家族的网络结构都是基于 Decoder-Only 的形式来逐步演化。
GPT (Generative Pre-trained Transformer)
GPT 架构：一种基于 Transformer 的预训练语言模型，它的最大创新之处在于使用了单向 Transformer 编码器，这使得模型可以更好地捕捉输入序列的上下文信息。
GPT 的工作原理是首先通过无监督预训练学习语言的统计规律，然后利用有监督微调将通用语言学知识与具体任务结合，提升模型性能。
训练方式，这里主要参考 OpenAI 发表的关于 InstructGPT 的相关训练步骤，主流的大模型训练基本形式大多也是类似的：
预训练（Pretraining） 预训练是大模型训练的第一步，目的是让模型学习语言的统计模式和语义信息。主流的预训练阶段步骤基本都是近似的，其中最重要的就是数据，需要收集大量的无标注数据，例如互联网上的文本、新闻、博客、论坛等等。这些数据可以是多种语言的，并且需要经过一定的清洗和处理，以去除噪音，无关信息以及个人隐私相关的，最后会以 tokenizer 粒度输入到上文提到的语言模型中。这些数据经过清洗和处理后，用于训练和优化语言模型。预训练过程中，模型会学习词汇、句法和语义的规律，以及上下文之间的关系。OpenAI 的 ChatGPT4 能有如此惊人的效果，主要的一个原因就是他们训练数据源比较优质。
指令微调阶段（Instruction Tuning Stage） 在完成预训练后，就可以通过指令微调去挖掘和增强语言模型本身具备的能力，这步也是很多企业以及科研研究人员利用大模型的重要步骤。 Instruction tuning（指令微调）是大模型训练的一个阶段，它是一种有监督微调的特殊形式，旨在让模型理解和遵循人类指令。在指令微调阶段，首先需要准备一系列的 NLP 任务，并将每个任务转化为指令形式，其中指令包括人类对模型应该执行的任务描述和期望的输出结果。然后，使用这些指令对已经预训练好的大语言模型进行监督学习，使得模型通过学习和适应指令来提高其在特定任务上的表现。
为了让模型训练更加高效和简单，这个阶段还有一种高效的 fine-tuning 技术，这为普通的从业者打开了通向使用大模型的捷径。 Parameter-Efficient Fine-Tuning (PEFT) 旨在通过最小化微调参数的数量和计算复杂度，达到高效的迁移学习的目的，提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。在训练过程中，预训练模型的参数保持不变，只需微调少量的额外参数，就可以达到与全量微调相当的性能。
目前，很多研究对 PEFT 方法进行了探索，例如 Adapter Tuning 和 Prefix Tuning 等。其中，Adapter Tuning 方法在面对特定的下游任务时，将预训练模型中的某些层固定，只微调接近下游任务的几层参数。而 Prefix Tuning 方法则是在预训练模型的基础上，添加一些额外的参数，这些参数在训练过程中会根据特定的任务进行更新和调整。
工业界现在常用的 Adapter Tuning 的技术是 Low-Rank Adaptation（LoRA）。它通过最小化微调参数的数量和计算复杂度，实现高效的迁移学习，以提高预训练模型在新任务上的性能。LoRA 的核心思想是将预训练模型的权重矩阵分解为两个低秩矩阵的乘积。通过这种分解，可以显著减少微调参数的数量，并降低计算复杂度。该方式和机器学习中经典的降维的思想很类似，类似地，LoRA 使用了矩阵分解技术中的奇异值分解 (Singular Value Decomposition, SVD) 或低秩近似 (Low-Rank Approximation) 方法，将原始权重矩阵分解为两个低秩矩阵的乘积。
在微调过程中，LoRA 只更新这两个低秩矩阵的参数，而保持其他预训练参数固定不变。这样可以显著减少微调所需的计算资源和时间，并且在很多任务上取得了与全量微调相当的性能。 LoRA 技术的引入使得在大规模预训练模型上进行微调更加高效和可行，为实际应用提供了更多可能性。
对齐微调（Alignment Tuning） 主要目标在于将语言模型与人类的偏好、价值观进行对齐，其中最重要的技术就是使用 RLHF（reinforcement learning from human feedback）来进行对齐微调。
但是这种算法存在一些比较明显的缺点，比如 PPO 是 on-policy 算法，每一次更新都需要收集新的样本，这就会导致算法的效率低下，并且更新是在每次训练时进行的，因此策略更新比较频繁，这就会导致算法的稳定性较差。
所以当前有很多新的技术出来替代 RLHF 技术：
对齐微调是一个关键的阶段，这一阶段使用强化学习从人类反馈中进行微调，以进一步优化模型的生成能力。它通过与人类评估者和用户的互动，不断优化模型的生成能力，以更好地满足人类期望和需求。
作为大模型的一个技术分支，很多人接触大模型的第一步就是写 prompt，而这的确也是大模型发展的其中一个重要方向技术，也是很多实际运用问题解决的关键步骤。
Prompt 技术的基本思想是，通过给模型提供一个或多个提示词或短语，来指导模型生成符合要求的输出。本质上是通过恰当的初始化参数（也就是适当的输入语言描述），来激发语言模型本身的潜力。例如，在文本分类任务中，我们可以给模型提供一个类别标签的列表，并要求它生成与这些类别相关的文本；在机器翻译任务中，我们可以给模型提供目标语言的一段文本，并要求它翻译这段文本。
Prompt 根据常用的使用场景可以概括为以下四种：
在具体实践中，根据场景设计合适的 prompt 进行优化，评估也是大模型工程中重要的一步，对大模型准确率和可靠性提升是必不可少的，这步也是将模型潜在强大能力兑现的关键一环。
在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。 近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。 20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。 Octopus-V2-2B 是一个拥有 20 亿参数的开源语言模型，专为 Android API 量身定制，旨在在 Android 设备上无缝运行，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。
[GPT-fast] 究竟是如何给大模型提速的？总的来说，用到这几种方法：
当前 LLM 模型推理的主要瓶颈是 GPU 显存资源不足。因此，各类加速框架主要集中于降低 GPU 显存峰值和提高 GPU 使用率两大目标。 [TensorRT-LLM] 是 NVIDIA 推出的大语言模型（LLM）推理优化框架。它提供了一组 Python API 用于定义 LLMs，并且使用最新的优化技术将 LLM 模型转换为 TensorRT Engines，推理时直接使用优化后的 TensorRT Engines。
TensorRT-LLM 主要利用以下四项优化技术提升 LLM 模型推理效率。
根据输入数据类型的不同，大模型的应用主要分为一下四大类：
主要应用于自然语言处理领域，处理文本数据和理解自然语言。这类模型在大规模语料库上进行训练，学习自然语言的语法、语义和语境规则。例如，OpenAI 的 GPT 系列、Google 的 Bard、百度的文心一言、阿里的通义千问、华为的盘古、商汤的商量等。
应用于计算机视觉领域，主要用于图像处理和分析。这类模型通过大规模图像数据进行训练，可以实现图像分类、目标检测、图像分割、姿态估计、人脸识别等视觉任务。目前，这个方向的应用尚在发展中。
能够处理多种类型的数据，如文本、图像和音频等。这类模型结合了 NLP 和 CV 的能力，实现对多模态信息的综合理解和分析。例如，OpenAI 的 Sora、Google 的 Gemini（Gemma）、华为的悟空画画、Midjourney, Inc.的 Midjourney。
在自动驾驶领域，大模型的概念同样得到了广泛应用。自动驾驶汽车系统中的大模型，具有高参数量和复杂深度学习架构，能够整合多种传感器数据（如摄像头、激光雷达、超声波传感器等），全方位感知和理解周围环境，以实现高级别自动驾驶功能。Tesla 在 2021 年提出了使用 Transformer 的纯视觉自动驾驶方案，这一方案在 2024 年已基本实现普及。
当前大模型已经在很多领域开始产品化落地，除了 ChatGPT 这类大家熟知的产品，主要还有以下一些主流的应用：
除这些外还包括算法优化、隐私和数据安全以及模型可解释性等方面的研究和应用，每天还有很多大模型的应用正在不断涌现，大模型在未来仍然有很大的发展潜力，国内的优秀大模型代表例如百度文心大模型也正在搭建全系统产业化的大模型全景。
以上挑战依然有很大空间值得改进，需要进一步研究和探索新的技术和方法。比如可以采用数据加密、隐私保护等技术来保障数据安全；可以通过改进模型架构、优化训练算法、利用分布式计算等方式来提高大模型的效率和性能；此外，还可以通过开源和共享模型资源来降低成本、促进大模型的普及和应用等方式。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
