中国人工智能大模型技术白皮书解读
大模型技术概述
发展历程
自 2006 年 Geoffrey Hinton 提出逐层无监督预训练解决深层网络训练难题以来，深度学习经历了从标注数据监督学习到预训练模型，再到大模型的转变。2022 年底，OpenAI 发布的 ChatGPT 引发了广泛关注，展现了大模型在多场景、多用途、跨学科任务处理的能力。大模型被认为是未来人工智能领域的关键基础设施。
语言大模型的发展经历了统计语言模型、神经语言模型、预训练语言模型到语言大模型（探索阶段）的四个阶段：
- 统计语言模型：基于马尔可夫假设，但受到数据稀疏问题影响。
- 神经语言模型：通过神经网络建模语义共现关系，能够捕获复杂语义依赖。
- 预训练语言模型：采用'预训练 + 微调'范式，通过自监督学习适配下游任务。
- 语言大模型：基于扩展定律，随着模型参数和预训练数据规模的增加，模型能力与任务效果不断改善，还展示出了一些小规模模型所不具备的'涌现能力'。
生态发展
大模型时代正逐步到来，以 ChatGPT 为代表的大模型技术将在经济、法律、社会等领域发挥重要作用。OpenAI 研发了 GPT-1（1.1 亿参数）、GPT-2（15 亿参数）和 GPT-3（1750 亿参数）等不同规模的语言模型，谷歌则推出了 5400 亿参数的 PaLM 模型。当模型参数规模达到千亿量级，语言大模型展现出多方面能力跃升。例如，GPT-3 通过提示词或少数样例即可完成多种任务。
OpenAI 在 Transformer 架构推出后，研发了一系列语言大模型技术。GPT-1 探索了解码器 Transformer 架构在自然语言任务求解能力；GPT-2 验证了扩大模型参数规模的有效性，并探索了基于自然语言提示的多任务解决能力；GPT-3 首次探索了千亿参数规模的语言模型效果，提出基于'上下文学习'的任务解决方法。
CodeX 使用代码数据对 GPT-3 进行微调，提升代码和复杂推理能力；InstructGPT 和 ChatGPT 基于人类反馈的强化学习技术，强化对于人类指令的遵循能力和人类偏好的对齐能力；GPT-4 能够处理更长的上下文窗口，具备多模态理解能力，逻辑推理、复杂任务处理能力得到显著改进。随着 GPT-4 的成功，语言大模型对多模态领域产生了重要影响，可以接受文本与图像组合的输入，更加符合人类的多渠道感知方式，应对更复杂的任务。GPT-4 表明，引入基于人类知识的自然语言能提升模型的多模态理解和生成能力。
大模型技术生态正在发展，多种服务平台向个人开放和商业应用延伸。OpenAI API 让用户通过 API 访问不同的 GPT 模型完成任务。Anthropic 开发的 Claude 系列模型通过无监督预训练和强化学习进行训练，强调模型的有用性、诚实性和无害性。百度文心一言是基于知识增强的大模型，提供多种开放服务，还建设了插件机制拓展能力。讯飞星火认知大模型具有开放式知识问答、多轮对话、逻辑和数学能力，以及对代码和多模态的理解能力。讯飞和华为联合发布了支持大模型训练私有化的产品'星火一体机'。
大模型技术的开源生态也丰富多样，包括开源框架和开源大模型。开源框架如 PyTorch 和飞桨支持大规模分布式训练，OneFlow 支持动静态图灵活转换，DeepSpeed 减少冗余内存访问以训练更大模型。开源大模型如 LLaMA、Falcon 和 GLM 降低研究门槛，促进应用繁荣。Baichuan 系列模型支持中英双语，使用高质量训练数据，表现优秀，并开源了多种量化版本。CPM 系列在中文 NLP 任务上表现卓越。
风险与挑战
然而，大模型技术仍存在许多风险和挑战。其可靠性无法得到有效保障，合成内容在事实性、时效性方面存在问题。大模型的可解释性不足，其工作机理难以理解。此外，大模型应用部署代价高，存在训练和推理计算量大、功耗高、应用成本高、端侧推理存在延迟等问题。在大数据不足的情况下，大模型的迁移能力存在不足，面临鲁棒性和泛化性等挑战。此外，大模型还存在被滥用于制造虚假信息、恶意引导行为等伴生技术风险问题，以及安全与隐私问题。
语言大模型技术
Transformer 架构
Transformer 架构是大模型的基础，通过自注意力机制（Self-Attention）有效捕捉长距离依赖关系，取代了传统的 RNN 和 CNN 结构，使得并行计算成为可能，大幅提升了训练效率。
语言大模型架构
主要包括掩码语言建模（MLM）、自回归语言建模（AR）和序列到序列建模（Seq2Seq）。MLM 常用于 BERT 类模型，通过随机掩盖部分 token 进行预测；AR 常用于 GPT 类模型，按顺序预测下一个 token；Seq2Seq 则广泛应用于机器翻译等任务。
关键技术
- 预训练：在大规模语料上进行无监督学习，获取通用语言表示。
- 适配微调：针对特定下游任务，利用少量标注数据调整模型参数。
- 提示学习：通过设计特定的 Prompt 引导模型输出期望结果，无需更新参数。
