PythonAI算法
AI 从业者分享：14 天掌握大模型核心知识学习路线图
一位 AI 从业者分享了 14 天大模型学习路线，涵盖从基础原理到高级架构的关键概念。内容分为三步：从零构建大模型、理解幻觉问题及优化策略、以及进阶技术如 KV 缓存和 MoE。同时列出了所需的数学、编程及深度学习预备知识，旨在帮助初学者快速入门并深入理解大型语言模型的底层机制。
一位 AI 从业者分享了 14 天大模型学习路线，涵盖从基础原理到高级架构的关键概念。内容分为三步：从零构建大模型、理解幻觉问题及优化策略、以及进阶技术如 KV 缓存和 MoE。同时列出了所需的数学、编程及深度学习预备知识，旨在帮助初学者快速入门并深入理解大型语言模型的底层机制。
无论是面试找工作、自学创业，还是想要在圈子内讨论 AGI 的潜力，但凡想要深度参与到 AI 浪潮中，不可避免的就是学习大型语言模型（LLM）的底层原理。
但 AI 发展这么多年，论文、学习资料多如牛毛，并且更新换代极快，如何快速入门，学习到那些真正的基础知识，对于新手来说都是一个难题。最近，一位 AI 从业者在网上分享了自己的学习过程，仅用 14 天就学完了 LLM 所需要的核心知识，学习笔记在 GitHub 上斩获了 675+ 星星，并且还在持续上涨。
学习路线中的主要知识点包括 token 嵌入、位置嵌入、自注意力、Transformer、对 Q、K、V 的直观理解、因果和多头注意力、温度、top-k、top-p、分类和指令微调、旋转位置编码（RoPE）、KV 缓存、无限注意力（长上下文窗口）、专家混合（MoE）、分组查询注意力（grouped query attention）、llama-2 架构及相关技术等。
作者把学习路线分为了三个步骤：
这部分主要是总结语言模型的基础知识，包括 token、位置嵌入、自注意力机制、Transformer 架构、最初版本的注意力机制（Attention is All You Need 论文）和微调的基本原理。
虽然网络上已经有很多资源，但其中最关键的参考资料是 Sebastian Raschka 编写的《从头开始构建大型语言模型》（Build a Large Language Model From Scratch），这本书解释技术原理时非常巧妙，读者也很容易理解。
在学习构建智能体时，一个无法绕过的难题就是研究自注意力机制的工作原理：自注意力机制可以让模型在处理文本时，能够理解每个单词或短语（也可以叫做 token）在整体上下文中的位置和重要性。
整个过程会涉及到三个关键概念：查询（query）、键（key）和值（value）。其中查询代表模型在寻找信息时提出的问题，键则是数据库中的索引，帮助智能体快速找到相关信息，而值则是查询所寻求的具体信息或数据。这三个组件的相互作用，使得智能体能够在处理语言时，不仅可以关注单个单词，还能理解单词之间的相互关系，从而更准确地捕捉文本的深层含义。
此外，位置嵌入（Positional Embedding）用于标记 token 在序列中的顺序，因为 Transformer 本身不具备循环结构，无法感知词序。Token 嵌入则将词汇映射为高维向量空间中的点，使得语义相似的词在向量空间中距离更近。
在学习的第二部分，作者推荐学习「什么是幻觉」以及「LLMs 为什么会产生幻觉」，可能也是潜伏在很多学习者脑海中的问题，对理解语言模型也有很大帮助。
幻觉是指模型生成的文本与现实世界的事实或用户的输入不一致的现象，对于研究人员以及使用 LLM 构建应用的人来说是一个巨大的挑战。
在研究过程中，你可能会意识到大模型的各种问题，诸如：
还会意识到数据、训练和推理对「幻觉」问题都有不同的影响。为了缓解幻觉问题，可以尝试不同的训练策略，以减少模型在训练和推理时的不一致性；还可以考虑如何通过引入位置编码来解决位置偏差问题，以及如何通过增加模型的上下文理解能力来减少幻觉的发生。
总的来说，这些问题的解决需要深入理解模型的工作原理，以及如何通过各种技术手段来优化，随着研究的深入，可以开发出更加强大和可靠的智能体，以支持各种语言处理任务。
最后阶段会学习到一些不那么「基础」的一些知识，但在构建 LLM 系统时非常关键，主要包括：
为了回顾这些主题，作者主要研究了 Meta 的 Llama 模型的架构和代码，相关资源可以在代码仓库中找到。
在研究这些主题时，作者并不只依赖单一的资源，例如在学习大型语言模型（LLMs）的基础知识时，主要参考了《从头开始构建大型语言模型》这本书；与此同时，读论文也是必不可少的，特别是那些首次提出某项技术的研究（比如原始的 Transformer 论文），以及综述论文，汇总了众多研究并给出了简洁的总结。
一些教学视频也很有用，可以作为预热，让心里有一个大概的印象，一个比较好的资源是 Andrej Karpathy，其中包含了大量「从零开始解释大型语言模型」的教学视频。
为了确保学习顺利进行，建议具备以下基础：
虽然作者确实在两周之内把这些主题都学完了，涉及的概念也不是特别复杂，但作者表示，两周只是用来强调这并不是一项难以完成的任务，你并不需要设定一个严格的截止日期来学习这些资源。在刚开始学习的时候，我也没想过 14 天就能学完，一切都是顺其自然，即使最后花了一个月，也没有任何问题，要享受发现新事物的乐趣。
每个人都有自己的学习节奏和背景知识，你可以对学习路线图进行调整。学习是一个非常个性化的体验，要学什么是基于「你已知的」和「你想知道的」，对于每个人来说，这个问题的答案都是不同的，所以不要完全照搬学习路线图，可以选择其中感兴趣的部分。没有一本书、资源或路线图是最佳的，所以不要将自己局限于单一的资源。
当你拿起一本书、观看 YouTube 视频或阅读论文来研究这些材料时，并没有规定要必须从头到尾读完，只需要获取到所需要的信息，就可以关掉了。特别是论文，完整看完可能会非常耗时，所以在阅读这些材料之前，先确定你心中的问题，并有针对性地寻找答案，可以避免在不相关的内容上浪费时间，即使这些内容可能很有价值，但可能与你的需求无关。
掌握大模型的核心知识不仅仅是为了应对面试，更是为了在未来的 AI 应用中能够独立解决问题。通过理解 Token 化、注意力机制、位置编码以及幻觉产生的原因，开发者可以更有效地设计提示词工程、优化模型推理速度以及选择合适的基础模型。建议初学者按照上述路线图逐步推进，结合官方文档与经典论文，建立扎实的理论基础，并在实践中不断验证所学内容。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online