在 AIGC 赛道中,许多开发者通过短视频、AI 解决方案、课程及产品实现了职业与财富的增长。大模型相关岗位需求旺盛,NLP 算法工程师、深度学习等人才尤为紧缺。率先拥抱 AI 技术已成为行业共识。
本书由新加坡科技研究局人工智能高级研究员黄佳编写,名为《GPT 图解大模型是怎样构建的》。无论您是 NLP 领域的学生、研究人员,还是对 ChatGPT 和生成式模型感兴趣的初学者,这本书都值得一读。
市面上讲述大模型的书籍多采用百科全书式的呈现方法,而本书通过一问一答的方式,趣味诠释程序员应该知道且可能好奇的 ChatGPT 和大模型疑问及核心技术,梳理生成式语言模型的发展脉络。书中带领读者踏上一段探索之旅,了解 ChatGPT 的前世今生,并动手从 0 到 1 搭建语言模型。
01 谁说大模型只是一夕之间爆火的?
每一次技术的演进都有它背后的故事。
在 20 世纪 40 年代和 50 年代,人工智能的概念开始浮现,但直到 1956 年的达特茅斯会议上,它才成为一个独立的学科领域。达特茅斯会议吸引了许多计算机科学家、数学家和其他领域的研究者,他们聚集在一起讨论智能机器的发展前景。他们的共同目标是在计算机上实现人类智能的各个方面,为现代人工智能研究开辟了道路。
人工智能(Artificial Intelligence,AI)技术有两大核心应用:计算机视觉(Computer Vision,CV)和自然语言处理(Natural Language Processing,NLP)。而在 AI 技术发展里程碑中,前期的突破多与 CV 相关,如 CNN 和 AlexNet;而后期的突破则多与 NLP 相关,如 Transformer 和 ChatGPT。
从发端,到寒冬,到发展,到二次寒冬,再到深度学习时代的崛起,最后到如今的 ChatGPT 辉煌时代。可以说,AI 技术的发展并不是一帆风顺的:盛夏与寒冬交错,期望和失望交融。
自然语言处理技术也是如此。这本书在谈论关于语言模型的原理以外,最耐人寻味的便是对自然语言处理技术演进的科普以及何为语言、信息又如何传播。
对于 NLP 的定义,书中描述为:"自然语言处理是人工智能的一个子领域,关注计算机如何理解、解释和生成人类语言。NLP 的核心任务,就是为人类的语言编码并解码,只有让计算机能够理解人类的语言,它才有可能完成原本只有人类才能够完成的任务。因此我们可以说:NLP 就是人类和计算机之间沟通的桥梁!"
对于 NLP 技术的演进过程,作者将其分为 4 个阶段,使用了 4 个词语来概括它们,分别是起源、基于规则、基于统计、深度学习和大数据驱动,厘清了它们的传承关系。
基于规则和基于统计的语言模型是 NLP 技术发展的关键节点,而大规模语言模型的诞生又进一步拓展了 NLP 技术的应用范围。
过去的十余年,语言模型的算法层出不穷。这本书的可贵之处在于它能够追本溯源,既让读者学会了语言模型的经典与主流算法,也让读者见证了其发展脉络,引导读者思考自然语言处理技术是怎么一步一步走到今天的。
比如,书中精选了早期的 N-gram 以及基于浅层神经网络的 NPLM 进行详细讲解,并逐步过渡到基于深层网络的语言模型(生成式语言模型 GPT)。GPT 模型的深层网络不再采用 CNN、RNN 或者 LSTM 等结构,而是采用表达能力更强的 Transformer,因此在讲解 GPT 模型时,更细致地讲解了'Transformer 的思想是什么,其核心组件有哪些,为什么其表达能力更强'。
02 不明觉厉的大模型,怎么学习?
好懂又好记的对话+图解方式。
在这本书中,作者会循着自然语言处理技术的演进过程,给读者讲透它的技术重点,并和大家一起实际操练一番,一步一步带你学透 GPT。
正如作者所说:'今天,在我们为 ChatGPT、GPT-4 等大模型的神奇能力而惊叹的同时,让我们对它们的底层逻辑与技术做一次严肃而快乐的探索。对我来说,这也是一次朝圣之旅,一次重温人工智能和自然语言处理技术 70 年间艰辛发展的旅程。'
从 N-Gram、词袋模型(Bag-of-Words,BoW)、Word2Vec(Word to Vector,W2V)、神经概率语言模型(Neural Probabilistic Language Model,NPLM)、循环神经网络(Recurrent Neural Network,RNN)、Seq2Seq(Sequence-to-Sequence,S2S)、注意力机制(Attention Mechanism)、Transformer、BERT 到 GPT 的技术,其中凝聚了多少位了不起的大牛的知识和心血,对于许多程序员而言,自行学习其中的原理和代码也是比较麻烦和有难度的。
对于已有基础的程序员尚且如此,何况是零基础的小白呢?
这套书令人惊喜的是它试图通过一问一答的教学方式,加上图文并茂的讲解,关注初学者学习中的真实问题,一一回答,讲解语言模型,对技术进行解码。
正文每个小节以提问为线索,以最新热点为引入,以同事在不同时间、不同场景中的对话为讲述方式,深入浅出地剖析大模型相关的知识,讲解语言模型和算法背后的意义。
书中设计了两个角色:一个是充满好奇心的初学者,她的提问正是我们的疑问点,她那不太完美的回答正是我们目前的认知;另一位则是博学多才、幽默风趣且喜欢答疑解惑的技术大咖。他的特别发言也被附在书中,记录对应的原理和代码,专业解答相关问题。
在一问一答的演绎下,晦涩难懂的知识被用通俗易懂的语言表述出来,将抽象概念具体化,轻松风趣地解答初学者可能会对大模型感到好奇的种种问题。
在翻阅这本书时,章节名也令人印象深刻,例如:
- 序章 看似寻常最奇崛,成如容易却艰辛


