在 AIGC 赛道中，许多开发者通过短视频、AI 解决方案、课程及产品实现了职业与财富的增长。大模型相关岗位需求旺盛，NLP 算法工程师、深度学习等人才尤为紧缺。率先拥抱 AI 技术已成为行业共识。
本书由新加坡科技研究局人工智能高级研究员黄佳编写，名为《GPT 图解大模型是怎样构建的》。无论您是 NLP 领域的学生、研究人员，还是对 ChatGPT 和生成式模型感兴趣的初学者，这本书都值得一读。
市面上讲述大模型的书籍多采用百科全书式的呈现方法，而本书通过一问一答的方式，趣味诠释程序员应该知道且可能好奇的 ChatGPT 和大模型疑问及核心技术，梳理生成式语言模型的发展脉络。书中带领读者踏上一段探索之旅，了解 ChatGPT 的前世今生，并动手从 0 到 1 搭建语言模型。
01 谁说大模型只是一夕之间爆火的？
每一次技术的演进都有它背后的故事。
在 20 世纪 40 年代和 50 年代，人工智能的概念开始浮现，但直到 1956 年的达特茅斯会议上，它才成为一个独立的学科领域。达特茅斯会议吸引了许多计算机科学家、数学家和其他领域的研究者，他们聚集在一起讨论智能机器的发展前景。他们的共同目标是在计算机上实现人类智能的各个方面，为现代人工智能研究开辟了道路。
人工智能（Artificial Intelligence，AI）技术有两大核心应用：计算机视觉（Computer Vision，CV）和自然语言处理（Natural Language Processing，NLP）。而在 AI 技术发展里程碑中，前期的突破多与 CV 相关，如 CNN 和 AlexNet；而后期的突破则多与 NLP 相关，如 Transformer 和 ChatGPT。
从发端，到寒冬，到发展，到二次寒冬，再到深度学习时代的崛起，最后到如今的 ChatGPT 辉煌时代。可以说，AI 技术的发展并不是一帆风顺的：盛夏与寒冬交错，期望和失望交融。
自然语言处理技术也是如此。这本书在谈论关于语言模型的原理以外，最耐人寻味的便是对自然语言处理技术演进的科普以及何为语言、信息又如何传播。
对于 NLP 的定义，书中描述为："自然语言处理是人工智能的一个子领域，关注计算机如何理解、解释和生成人类语言。NLP 的核心任务，就是为人类的语言编码并解码，只有让计算机能够理解人类的语言，它才有可能完成原本只有人类才能够完成的任务。因此我们可以说：NLP 就是人类和计算机之间沟通的桥梁！"
对于 NLP 技术的演进过程，作者将其分为 4 个阶段，使用了 4 个词语来概括它们，分别是起源、基于规则、基于统计、深度学习和大数据驱动，厘清了它们的传承关系。
基于规则和基于统计的语言模型是 NLP 技术发展的关键节点，而大规模语言模型的诞生又进一步拓展了 NLP 技术的应用范围。
过去的十余年，语言模型的算法层出不穷。这本书的可贵之处在于它能够追本溯源，既让读者学会了语言模型的经典与主流算法，也让读者见证了其发展脉络，引导读者思考自然语言处理技术是怎么一步一步走到今天的。
比如，书中精选了早期的 N-gram 以及基于浅层神经网络的 NPLM 进行详细讲解，并逐步过渡到基于深层网络的语言模型（生成式语言模型 GPT）。GPT 模型的深层网络不再采用 CNN、RNN 或者 LSTM 等结构，而是采用表达能力更强的 Transformer，因此在讲解 GPT 模型时，更细致地讲解了'Transformer 的思想是什么，其核心组件有哪些，为什么其表达能力更强'。
02 不明觉厉的大模型，怎么学习？
好懂又好记的对话＋图解方式。
在这本书中，作者会循着自然语言处理技术的演进过程，给读者讲透它的技术重点，并和大家一起实际操练一番，一步一步带你学透 GPT。
正如作者所说：'今天，在我们为 ChatGPT、GPT-4 等大模型的神奇能力而惊叹的同时，让我们对它们的底层逻辑与技术做一次严肃而快乐的探索。对我来说，这也是一次朝圣之旅，一次重温人工智能和自然语言处理技术 70 年间艰辛发展的旅程。'
从 N-Gram、词袋模型（Bag-of-Words，BoW）、Word2Vec（Word to Vector，W2V）、神经概率语言模型（Neural Probabilistic Language Model，NPLM）、循环神经网络（Recurrent Neural Network，RNN）、Seq2Seq（Sequence-to-Sequence，S2S）、注意力机制（Attention Mechanism）、Transformer、BERT 到 GPT 的技术，其中凝聚了多少位了不起的大牛的知识和心血，对于许多程序员而言，自行学习其中的原理和代码也是比较麻烦和有难度的。
对于已有基础的程序员尚且如此，何况是零基础的小白呢？
这套书令人惊喜的是它试图通过一问一答的教学方式，加上图文并茂的讲解，关注初学者学习中的真实问题，一一回答，讲解语言模型，对技术进行解码。
正文每个小节以提问为线索，以最新热点为引入，以同事在不同时间、不同场景中的对话为讲述方式，深入浅出地剖析大模型相关的知识，讲解语言模型和算法背后的意义。
书中设计了两个角色：一个是充满好奇心的初学者，她的提问正是我们的疑问点，她那不太完美的回答正是我们目前的认知；另一位则是博学多才、幽默风趣且喜欢答疑解惑的技术大咖。他的特别发言也被附在书中，记录对应的原理和代码，专业解答相关问题。
在一问一答的演绎下，晦涩难懂的知识被用通俗易懂的语言表述出来，将抽象概念具体化，轻松风趣地解答初学者可能会对大模型感到好奇的种种问题。
在翻阅这本书时，章节名也令人印象深刻，例如：
- 序章 看似寻常最奇崛，成如容易却艰辛
- 第 1 课 高楼万丈平地起：语言模型的雏形 N-Gram 和简单文本表示 Bag-of-Words
- 第 2 课 问君文本何所似：词的向量表示 Word2Vec 和 Embedding
- 第 3 课 山重水复疑无路：神经概率语言模型和循环神经网络
- 第 4 课 柳暗花明又一村：Seq2Seq 编码器 - 解码器架构
- 第 5 课 见微知著开慧眼：引入注意力机制
- 第 6 课 层峦叠翠上青天：搭建 GPT 核心组件 Transformer
- 第 7 课 芳林新叶催陈叶：训练出你的简版生成式 GPT
- 第 8 课 流水后波推前波：ChatGPT 基于人类反馈的强化学习
- 第 9 课 生生不息的循环：使用强大的 GPT-4 API
- 后记 莫等闲，白了少年头
作者特意以'古诗词 + 章节内容'的形式为每个讲解不同语言模型的篇章命名，多为古诗词的改编，加上暗喻，用字数简短但是意蕴深厚的古诗词提炼大模型的特征、语言模型的发展脉络，让知识点直观、易懂、易记。
03 学习难度不低的大模型，如何构建？
生动有趣的图画、独具匠心的项目设计和详尽的代码、数据集。
作者是新加坡科技研究局人工智能高级研究员，他主攻的方向为 NLP 大模型的研发与应用、持续学习、AI in FinTech、AI in Spectrometry Data。他曾著有《零基础学机器学习》《数据分析咖哥十话》等多部畅销书籍，深耕数据科学领域多年，积累了丰富的科研项目和政府、银行、能源、医疗等领域 AI 项目落地实战经验。
因此，在本书中，他不拘泥于理论的堆砌，而是带领读者从基础到进阶，从理论模型到实战剖析，让读者真正明白大模型是怎样构建的。
比如，ChatGPT 属于大语言模型的一类，那么作者首先会在书中通俗地讲解'什么是语言模型，什么是大语言模型'，在讲解语言模型时，会引出词向量、词嵌入等 NLP 领域几个最常用的概念，以及经典方法 Word2Vec。
此次，书中的插画抓住讲解的技术精髓，在诠释技术原理的同时做到了生动与幽默。除了插图以外，书中还有大量表格，尽可能地帮助读者理解相关问题。
图文并茂的讲解方式能让读者快速了解相关技术知识，而手把手的代码实战能让读者轻松上手搭建大模型，更何况这本书二者兼备。
作者会在书中根据技术发展的脉络讲解多个实战项目，以生动活泼的笔触将枯燥的技术细节化作轻松幽默的故事和缤纷多彩的图画，一步一代码加注释手把手教学读者进行实战。
主要项目包括：
- N-Gram 构建
- Word2Vec 构建
- NPLM（Neural Probabilistic Language Model）构建
- Seq2Seq 架构
- 注意力机制
- Transformer 架构
- WikiGPT
- miniChatGPT
令人惊喜的是，本书还提供实例配套资源代码和实例数据集等资源，这有助于读者更好地理解书中的概念和实践技巧。通过实例代码，初学者可以直接尝试和运行代码，通过实践来加深对书中内容的理解。而实例数据集则帮助读者在处理真实数据时进行实践操作，从而更好地掌握相关技术。
阅读本书后，不仅能深入理解自然语言处理技术的核心原理，还能自己动手，从零开始搭建起一个又一个语言模型，成就感满满。