AI 大模型核心知识点梳理
AI 大模型是什么
AI 大模型是指具有巨大参数量的深度学习模型，通常包含数十亿甚至数万亿个参数。这些模型可以通过学习海量的数据来提高预测能力，从而在自然语言处理、计算机视觉、自主驾驶等领域取得重要突破。
根据 OpenAI 的分类方法，可以将 AI 模型按参数规模分为以下几类：
- 小型模型：≤ 100 万个参数
- 中型模型：100 万 – 1 亿个参数
- 大型模型：1 亿 – 10 亿个参数
- 极大型模型：≥ 10 亿个参数
其中大型模型和极大型模型通常被视为 AI 大模型。总的来说，'大模型'是基于具有超级大规模参数的模型，需要大量的计算资源、更强的计算能力以及更优秀的算法优化方法进行训练和优化。
AI 大模型发展历程
AI 大模型的发展经历了从传统机器学习到深度神经网络，再到 Transformer 架构的演变过程：
- 2012 年：AlexNet 在 ImageNet 竞赛中获胜，标志着深度学习时代的开启。
- 2017 年：Google 提出 Transformer 架构，引入了自注意力机制（Self-Attention），为后续大模型奠定了理论基础。
- 2018 年：Google 发布 BERT 模型，通过双向编码显著提升了自然语言理解任务的性能。
- 2020 年：OpenAI 推出 GPT-3，拥有 1750 亿参数，展示了零样本（Zero-shot）学习能力。
- 2022 年 11 月：OpenAI 推出 ChatGPT 3.5，引发了全球对生成式 AI 的关注热潮。
- 2023 年 2 月：Google 推出 Bard，基于 LaMDA 模型；百度确认'文心一言'项目；复旦大学推出 MOSS；智谱 AI 开源 ChatGLM-6B。
- 2023 年 3 月：OpenAI 发布多模态模型 GPT-4；Anthropic 推出 Claude；华为宣布盘古大模型；阿里云通义千问开始内测；科大讯飞发布星火认知大模型。
- 2023 年至今：Llama 系列开源模型推动社区发展，多模态大模型成为新趋势，端侧大模型开始探索落地。
AI 大模型的底层原理
AI 大模型（如深度学习模型）的原理是基于神经网络和大量数据的训练。这些模型通过模拟人脑的神经元结构，对输入数据进行多层抽象和处理，从而实现对复杂任务的学习和预测。
核心架构：Transformer
现代大模型大多基于 Transformer 架构，其核心组件包括：
- 自注意力机制（Self-Attention）：允许模型在处理序列数据时关注不同位置的信息，捕捉长距离依赖关系。
- 前馈神经网络（Feed-Forward Network）：对特征进行非线性变换。
- 层归一化（Layer Normalization）：稳定训练过程，加速收敛。
- 残差连接（Residual Connection）：缓解梯度消失问题，使深层网络更容易训练。
训练流程
AI 大模型的训练主要分为以下几个步骤：
- 数据预处理：对原始数据进行清洗、整理和标注，去除噪声、填充缺失值、归一化等操作，为模型提供合适的输入。
- 构建神经网络：根据任务需求，设计并搭建一个神经网络。通常由多个层次组成，每个层次包含若干个神经元。
- 前向传播：将经过预处理的数据输入到神经网络中，按照权重计算得出各层神经元的输出。
- 激活函数：在神经网络的每一层之后，使用激活函数（如 ReLU、Sigmoid 或 Tanh 等）对输出进行非线性变换，增加模型的表达能力。
- 损失函数：定义损失函数来衡量模型预测结果与真实目标之间的差距。常见的有均方误差（MSE）、交叉熵损失（Cross-Entropy Loss）等。
- 优化算法：根据损失函数，选择合适的优化算法（如梯度下降、随机梯度下降、Adam 等）来更新神经网络中的权重和偏置，以减小损失函数的值。这个过程称为反向传播。
