大语言模型综述：背景、技术与资源

考虑到具有挑战性的技术问题和对计算资源的巨大需求，开发或复制 LLM 绝非易事。一种可行的方法是学习现有 LLM 的经验并重用公开可用的资源进行增量开发或实验研究，比如开发 LLM 的公开可用资源，包括模型检查点（或 API）、语料库和库。

公开可用的模型检查点或 API

鉴于模型预训练的成本巨大，训练有素的模型检查点对于研究界研究和开发 LLM 至关重要。由于参数规模是使用 LLM 需要考虑的关键因素，将这些公共模型分为两个规模级别（即数百亿参数和数千亿参数），这有助于用户根据其资源预算确定合适的资源。此外，对于推理，可以直接使用公共 API 来执行任务，而无需在本地运行模型。

百亿参数的模型

此类模型大多数的参数规模在 10B 到 20B 之间，但 LLaMA（最大版本包含 65B 参数）、NLLB（最大版本包含 54.5B 参数）和 Falcon（最大版本包含 40B 参数）除外。此范围内的其他模型包括 mT5、PanGu-α、T0、GPT-NeoX-20B、CodeGen、UL2、Flan-T5 和 mT0。其中，Flan-T5（11B 版）可以作为指令调整研究的首选模型。此外，CodeGen（11B 版）作为一个专为代码生成而设计的自回归语言模型，可以被认为是探索代码生成能力的一个很好的候选模型。

此外，基于深度学习框架 MindSpore 开发的 PanGu-α 在零样本或少样本设置下的中文下游任务中表现出色。请注意，PanGu-α 拥有多个版本的模型（最多 200B 个参数），而最大的公开版本有 13B 个参数。作为一种流行的 LLM，LLaMA（65B 版本）包含的参数大约是其他模型的五倍，在与指令遵循相关的任务中表现出色。由于其开放性和有效性，LLaMA 引起了研究界的极大关注，许多努力致力于微调或持续预训练不同模型版本，以实现新的模型或工具。

千亿参数的模型

对于此类别的模型，只有少数模型已公开发布。例如，OPT、OPT-IML、BLOOM 和 BLOOMZ 的参数数量与 GPT-3（175B 版本）几乎相同，而 GLM 和 Galactica 分别具有 130B 和 120B 个参数。其中，OPT（175B 版本）和指令调整版本 OPT-IML 特别适合开放共享，旨在使研究人员能够进行大规模可重复的研究。对于跨语言泛化研究，BLOOM（176B 版本）和 BLOOMZ（176B 版本）可以用作基础模型，因为它们在多语种语言建模任务中表现出色。

LLaMA 模型系列

Meta AI 于 2023 年 2 月推出 LLaMA 模型集合，包括四种大小（7B、13B、30B 和 65B）。自发布以来，LLaMA 引起了研究界和工业界的广泛关注。LLaMA 模型在各种开放基准上都取得了非常出色的表现，成为迄今为止最受欢迎的开源语言模型。大量研究人员通过指令调整或持续预训练扩展了 LLaMA 模型。特别是，由于计算成本相对较低，指令调整 LLaMA 已成为开发定制或专用模型的主要方法。

在这些扩展模型中，Stanford Alpaca 是第一个基于 LLaMA（7B）微调的开放指令跟随模型。名为 Alpaca-52K 的指令数据和训练代码已在后续工作中被广泛采用。此外，Vicuna 是另一种流行的 LLaMA 变型，根据从 ShareGPT 收集的用户共享对话进行训练。与其他变型相比，Vicuna 在多模态语言模型中更受欢迎，这导致出现了各种流行的模型，包括 LLaVA、MiniGPT-4、InstructBLIP 和 PandaGPT。

LLM 的公共 API

与直接使用模型副本相比，API 为普通用户提供了一种更方便的方式来使用 LLM，而无需在本地运行模型。作为使用 LLM 的代表性接口，GPT 系列模型的 API 已被学术界和工业界广泛使用。OpenAI 为 GPT-3 系列中的模型提供了七个主要接口：ada、babbage、curie、davinci（GPT-3 系列中最强大的版本）、text-ada-001、text-babbage-001 和 text-curie-001。其中，前四个接口可以在 OpenAI 的主机服务器上进一步微调。

总体而言，API 接口的选择取决于具体的应用场景和响应需求。

训练语料库与资源

与早期的 PLM 相比，包含很多参数的 LLM 需要大量涵盖广泛内容的训练数据。为了满足这一需求，越来越多的训练数据集已被发布。简要总结几个广泛用于训练 LLM 的语料库，根据其内容类型，分为六类：书籍、CommonCrawl、Reddit 链接、维基百科、代码等。

在实践中，预训练 LLM 通常需要混合使用不同的数据源（如图所示各种数据的占比），而不是使用单个语料库。因此，现有研究通常将几个现成的数据集（例如 C4、OpenWebText 和 Pile）混合使用，然后进行进一步处理以获得预训练语料库。

以下是三个代表性 LLM 的预训练语料库：

• GPT-3（175B）：在 300B 个 tokens 的混合数据集上进行训练，包括 CommonCrawl、WebText2、Books1、Books2 和 Wikipedia。
• PaLM (540B)：使用 780B 个 tokens 的预训练数据集，该数据集来自社交媒体对话、过滤后的网页、书籍、Github、多语言维基百科和新闻。
• LLaMA：从各种来源提取训练数据，包括 CommonCrawl、C4、Github、维基百科、书籍、ArXiv 和 StackExchange。LLaMA (6B) 和 LLaMA (13B) 的训练数据大小为 1.0T 个 tokens，而 LLaMA (32B) 和 LLaMA (65B) 使用的训练数据大小为 1.4T 个 tokens。

开发资源库

如下是一些开发 LLM 的资源库：

• Transformers：是一个开源 Python 库，用于 Transformer 架构构建的模型，由 Hugging Face 开发和维护。它具有简单且用户友好的 API，可以轻松使用和定制各种预训练模型。
• DeepSpeed：是由 Microsoft 开发的深度学习优化库（与 PyTorch 兼容），已用于训练许多 LLM，例如 MT-NLG 和 BLOOM。它为分布式训练提供了各种优化技术的支持，例如内存优化（ZeRO 技术、梯度检查点）和流水线并行性。
• Megatron-LM：是由 NVIDIA 开发的深度学习库，用于训练大规模语言模型。它还为分布式训练提供了丰富的优化技术，包括模型和数据并行性、混合精度训练和 Flash Attention。
• JAX：是 Google 开发的高性能机器学习算法 Python 库，允许用户使用硬件加速（例如 GPU 或 TPU）轻松地对阵列执行计算。
• Colossal-AI：是由 HPC-AI Tech 开发用于训练大规模 AI 模型的深度学习库。它基于 PyTorch 实现，支持丰富的并行训练策略集合。
• BMTrain：是 OpenBMB 开发的高效库，用于以分布式方式训练具有大规模参数的模型，强调代码简单、资源占用少和可用性高。
• FastMoE：是一个专门用于混合专家（MoE）模型的训练库。它基于 PyTorch 开发，在设计上兼顾效率和用户友好性。

除了上述库资源之外，现有的深度学习框架（例如 PyTorch、TensorFlow、MXNet、PaddlePaddle、MindSpore 和 OneFlow）也提供了对并行算法的支持，这些算法常用于训练大规模模型。

总结与展望

本文回顾了大语言模型（LLM）的背景、关键技术及生态资源。从统计语言模型到神经语言模型，再到预训练语言模型，最终演变为具备涌现能力的大语言模型，其发展路径清晰可见。规模化定律揭示了模型性能与参数规模、数据规模及计算量的关系，而涌现能力则展示了大模型在上下文学习、指令跟随及逐步推理等方面的独特优势。

在技术应用层面，扩大规模、高效训练、能力引出、对齐调整及工具操纵构成了当前 LLM 发展的核心技术支柱。同时，开源社区提供了丰富的模型检查点、API 接口及开发工具，降低了研究与应用的门槛。

展望未来，LLM 的发展仍面临诸多挑战。首先，如何进一步提升模型效率，降低训练与推理成本，是实现大规模普及的关键。其次，模型的安全性与对齐问题仍需深入探索，确保生成内容符合人类价值观与伦理规范。此外，多模态融合将是重要方向，结合视觉、听觉等多模态信息将赋予模型更强的感知与理解能力。最后，垂直领域的深度适配与定制化也将是产业落地的重点，通过领域数据微调与知识注入，使 LLM 更好地服务于具体行业场景。随着技术的不断演进，LLM 有望彻底改变人工智能的开发与使用方式，推动社会生产力的进一步提升。