在 AIGC 赛道中，许多开发者通过短视频、AI 解决方案、课程及产品实现了职业与财富的增长。大模型相关岗位需求旺盛，NLP 算法工程师、深度学习等人才尤为紧缺。率先拥抱 AI 技术已成为行业共识。
本书由新加坡科技研究局人工智能高级研究员黄佳编写，名为《GPT 图解大模型是怎样构建的》。无论您是 NLP 领域的学生、研究人员，还是对 ChatGPT 和生成式模型感兴趣的初学者，这本书都值得一读。
市面上讲述大模型的书籍多采用百科全书式的呈现方法，而本书通过一问一答的方式，趣味诠释程序员应该知道且可能好奇的 ChatGPT 和大模型疑问及核心技术，梳理生成式语言模型的发展脉络。书中带领读者踏上一段探索之旅，了解 ChatGPT 的前世今生，并动手从 0 到 1 搭建语言模型。
01 谁说大模型只是一夕之间爆火的？
每一次技术的演进都有它背后的故事。
在 20 世纪 40 年代和 50 年代，人工智能的概念开始浮现，但直到 1956 年的达特茅斯会议上，它才成为一个独立的学科领域。达特茅斯会议吸引了许多计算机科学家、数学家和其他领域的研究者，他们聚集在一起讨论智能机器的发展前景。他们的共同目标是在计算机上实现人类智能的各个方面，为现代人工智能研究开辟了道路。
人工智能（Artificial Intelligence，AI）技术有两大核心应用：计算机视觉（Computer Vision，CV）和自然语言处理（Natural Language Processing，NLP）。而在 AI 技术发展里程碑中，前期的突破多与 CV 相关，如 CNN 和 AlexNet；而后期的突破则多与 NLP 相关，如 Transformer 和 ChatGPT。
从发端，到寒冬，到发展，到二次寒冬，再到深度学习时代的崛起，最后到如今的 ChatGPT 辉煌时代。可以说，AI 技术的发展并不是一帆风顺的：盛夏与寒冬交错，期望和失望交融。
自然语言处理技术也是如此。这本书在谈论关于语言模型的原理以外，最耐人寻味的便是对自然语言处理技术演进的科普以及何为语言、信息又如何传播。
对于 NLP 的定义，书中描述为："自然语言处理是人工智能的一个子领域，关注计算机如何理解、解释和生成人类语言。NLP 的核心任务，就是为人类的语言编码并解码，只有让计算机能够理解人类的语言，它才有可能完成原本只有人类才能够完成的任务。因此我们可以说：NLP 就是人类和计算机之间沟通的桥梁！"
对于 NLP 技术的演进过程，作者将其分为 4 个阶段，使用了 4 个词语来概括它们，分别是起源、基于规则、基于统计、深度学习和大数据驱动，厘清了它们的传承关系。
基于规则和基于统计的语言模型是 NLP 技术发展的关键节点，而大规模语言模型的诞生又进一步拓展了 NLP 技术的应用范围。
过去的十余年，语言模型的算法层出不穷。这本书的可贵之处在于它能够追本溯源，既让读者学会了语言模型的经典与主流算法，也让读者见证了其发展脉络，引导读者思考自然语言处理技术是怎么一步一步走到今天的。
比如，书中精选了早期的 N-gram 以及基于浅层神经网络的 NPLM 进行详细讲解，并逐步过渡到基于深层网络的语言模型（生成式语言模型 GPT）。GPT 模型的深层网络不再采用 CNN、RNN 或者 LSTM 等结构，而是采用表达能力更强的 Transformer，因此在讲解 GPT 模型时，更细致地讲解了'Transformer 的思想是什么，其核心组件有哪些，为什么其表达能力更强'。
02 不明觉厉的大模型，怎么学习？
好懂又好记的对话＋图解方式。
在这本书中，作者会循着自然语言处理技术的演进过程，给读者讲透它的技术重点，并和大家一起实际操练一番，一步一步带你学透 GPT。
正如作者所说：'今天，在我们为 ChatGPT、GPT-4 等大模型的神奇能力而惊叹的同时，让我们对它们的底层逻辑与技术做一次严肃而快乐的探索。对我来说，这也是一次朝圣之旅，一次重温人工智能和自然语言处理技术 70 年间艰辛发展的旅程。'
从 N-Gram、词袋模型（Bag-of-Words，BoW）、Word2Vec（Word to Vector，W2V）、神经概率语言模型（Neural Probabilistic Language Model，NPLM）、循环神经网络（Recurrent Neural Network，RNN）、Seq2Seq（Sequence-to-Sequence，S2S）、注意力机制（Attention Mechanism）、Transformer、BERT 到 GPT 的技术，其中凝聚了多少位了不起的大牛的知识和心血，对于许多程序员而言，自行学习其中的原理和代码也是比较麻烦和有难度的。
对于已有基础的程序员尚且如此，何况是零基础的小白呢？
这套书令人惊喜的是它试图通过一问一答的教学方式，加上图文并茂的讲解，关注初学者学习中的真实问题，一一回答，讲解语言模型，对技术进行解码。
正文每个小节以提问为线索，以最新热点为引入，以同事在不同时间、不同场景中的对话为讲述方式，深入浅出地剖析大模型相关的知识，讲解语言模型和算法背后的意义。
书中设计了两个角色：一个是充满好奇心的初学者，她的提问正是我们的疑问点，她那不太完美的回答正是我们目前的认知；另一位则是博学多才、幽默风趣且喜欢答疑解惑的技术大咖。他的特别发言也被附在书中，记录对应的原理和代码，专业解答相关问题。
在一问一答的演绎下，晦涩难懂的知识被用通俗易懂的语言表述出来，将抽象概念具体化，轻松风趣地解答初学者可能会对大模型感到好奇的种种问题。
在翻阅这本书时，章节名也令人印象深刻，例如：
- 序章 看似寻常最奇崛，成如容易却艰辛
