大模型（LLM）学习路线与核心资料整理

📚 资源推荐：

• Real Python：Python 学习的宝藏之地，从基础到进阶，应有尽有。
• freeCodeCamp - 学习 Python：一部详尽的视频将引领您逐步揭开 Python 核心概念的神秘面纱。
• Python 数据科学手册：一本珍贵的数字宝典，让您轻松掌握 pandas、NumPy、Matplotlib 和 Seaborn 的奥秘。

1. 深度学习启程

对于机器学习的初学者，freeCodeCamp - 适合所有人的机器学习为您打开了一扇窗，让您一窥不同机器学习算法的风采。Udacity - 机器学习简介则是一门免费的课程，深入浅出地为您解析 PCA 等关键概念。

2. 神经网络的深邃世界

神经网络，作为众多机器学习模型的核心，尤其在深度学习中扮演着重要的角色。为了驾驭这一利器，我们需全面了解其设计与运作机制。

• 基础知识：洞悉神经网络的结构，包括层、权重、偏差以及激活函数（sigmoid、tanh、ReLU 等）。
• 训练与优化：熟悉反向传播和各类损失函数，如均方误差（MSE）和交叉熵，掌握梯度下降、随机梯度下降、RMSprop 和 Adam 等优化算法。
• 抵御过度拟合：了解过度拟合的实质，学会应用 dropout、L1/L2 正则化、提前停止和数据增强等技术，为模型筑起坚固的防线。
• 实战多层感知器（MLP）：运用 PyTorch 构建 MLP，也称全连接网络，让您亲手体验神经网络的力量。

📚 资源宝库：

• 3Blue1Brown - 但什么是神经网络？：这部视频为您直观呈现神经网络的内部工作原理，让您一目了然。
• freeCodeCamp - 深度学习速成课程：快速概览深度学习的核心概念，让您在知识的海洋中畅游。
• Fast.ai - 实用深度学习：专为具备编程基础的深度学习爱好者打造，让您轻松入门。
• Patrick Loeber - PyTorch 教程：系列视频助您轻松掌握 PyTorch 的奥秘，开启深度学习之旅。

3. 自然语言处理的魔法

自然语言处理（NLP），人工智能的璀璨分支，它致力于弥合人类语言与机器理解之间的鸿沟。从简单的文本处理到深入的语言细微差别理解，NLP 在翻译、情感分析、聊天机器人等领域展现出巨大的潜力。

• 文本预处理：掌握分词、词干提取、词形还原、停用词删除等关键技术，为 NLP 应用打下坚实基础。
• 特征提取技术：熟悉词袋（BoW）、词频 - 逆文档频率（TF-IDF）和 n-gram 等方法，将文本数据转化为机器学习算法可识别的格式。
• 词嵌入的艺术：词嵌入，作为一种独特的词表示形式，赋予了具有相近内涵的词汇相似的形态，使它们在语义空间中彼此亲近。在众多杰出方法中，Word2Vec、GloVe 和 FastText 无疑是其中的佼佼者。
• 递归神经网络的魅力：递归神经网络（RNN）不仅揭示了其独特的工作原理，更展现了它处理序列数据的卓越能力。在 LSTM 和 GRU 这两种 RNN 的杰出变体中，我们看到了模型学习长期依赖关系的强大能力。

📚 精选资源推荐

• RealPython - NLP 与 spaCy 在 Python 中的探索：spaCy 库在 Python 中 NLP 任务的详尽指南，助您轻松驾驭自然语言处理。
• Kaggle - NLP 学习指南：用 Python 实践 NLP 的宝贵笔记本和资源库。
• Jay Alammar - Word2Vec 图解：深入了解 Word2Vec 架构的绝佳参考。
• Jake Tae - 从零开始的 PyTorch RNN：PyTorch 中 RNN、LSTM 和 GRU 模型的实用与简洁实现。
• colah 的博客 - LSTM 网络的理解：关于 LSTM 网络的深度理论剖析。

LLM 科学家之旅

1. 深入 LLM 架构

尽管 Transformer 架构的细节不必一一掌握，但了解其输入（令牌）和输出（logits）却至关重要。普通的注意力机制作为其核心组件，更是我们学习的关键，其改进版本也将随后揭晓。

• 高级视角：让我们重新审视编码器 - 解码器 Transformer 架构，特别是 GPT 架构，这一仅含解码器的架构已在现代 LLM 中广泛应用。
• 标记化：将原始文本数据转化为模型能理解的格式，是了解如何将文本拆分为标记（通常是单词或子词）的关键。
• 注意力机制：深入探索注意力机制背后的理论，如自注意力和缩放点积注意力，它们使模型在生成输出时能够聚焦于输入的不同部分。
• 文本生成：探索模型生成输出序列的多种策略，包括贪婪解码、波束搜索、top-k 采样和核采样等。

📚 参考资料

• Jay Alammar 的 Transformer 图解：直观理解 Transformer 模型的绝佳资源。
• Jay Alammar 的 GPT-2 图解：专注于 GPT 架构，与 Llama 有着异曲同工之妙。
• Brendan Bycroft 的 LLM 可视化：以惊人的 3D 可视化方式，展示 LLM 内部的运作奥秘。

2. 经典模型研究

• 怀旧学者揭秘 Chinchilla 的深邃寓意：深入剖析缩放定律，并探讨它们对 LLM（大型语言模型）领域的普遍影响。
• 探索 BigScience 的 BLOOM 奥秘：这里是一份详尽的概念页面，详细描述了 BLOOM 模型的构建过程，包括工程细节与所遇挑战，为您提供丰富的技术洞察。
• Meta 的 OPT-175：从日志中窥见智慧：这份研究日志详细记录了模型开发中的问题和解决方案。对于有志于预训练大型语言模型（如本例中的 175B 参数模型）的研究者而言，它是一份极具价值的参考资料。
• LLM 360：开源框架引领创新：这是一个开源的 LLM 框架，汇聚了培训、数据准备、评估指标和模型资源。无论您是研究者还是开发者，都能在此找到所需的工具和灵感。

3. 监督微调：模型个性化的艺术

预训练模型往往专注于基础的下一个标记预测任务，因此难以直接应用于实际场景。而 SFT（监督微调）技术，则允许您根据特定需求调整模型，使其能够响应复杂的指令。更重要的是，您可以基于私有数据或 GPT-4 无法触及的数据集来微调模型，无需支付高昂的 API 费用。

• 全微调：这是一种涉及所有参数的微调方法，尽管效率有限，但往往能获得较为理想的结果。
• LoRA：这是一种高效的参数高效技术（PEFT），通过仅训练低阶适配器而非整个模型，实现了更快速、更经济的微调过程。
• QLoRA：作为 LoRA 的进阶版本，它不仅基于低阶适配器进行微调，还将模型权重量化为 4 位，并结合分页优化器以管理内存峰值。配合 Unsloth 使用，您甚至可以在免费的 Colab 笔记本上轻松运行。
• Axolotl：这是一个用户友好的微调工具，支持多种最先进的开源模型，为您的模型调整工作提供强大支持。
• DeepSpeed：专为多 GPU 和多节点设置设计的 LLM 预训练和微调框架，在 Axolotl 等项目中得到了成功应用。

📚 参考资料：

• Alpin 的新手 LLM 培训指南：为初学者提供了微调 LLM 时所需的基本概念、参数设置和实用技巧。
• Sebastian Raschka 的 LoRA 见解：为您深入解读 LoRA 技术，并提供选择最佳参数的实用建议。
• 精细调整 Llama 2 模型，探索语言模型的无限潜能：借助 Hugging Face 库，走进微调 Llama 2 模型的奇妙世界。
• 解密大型语言模型填充之道：Benjamin Marie 为我们揭示了因果 LLM 填充训练样本的精湛技巧。
• LLM 微调新手指南：Axolotl 如何助您微调 CodeLlama 模型，轻松开启 LLM 之旅。

4. 强化学习：倾听人类之声，塑造智慧模型

在监督微调之后，RLHF 如同一道桥梁，将 LLM 的答案与人类的期望紧密相连。它借助人类的反馈学习偏好，旨在消除偏见、优化模型，使它们更加符合人类的期望。尽管比 SFT 更为复杂，但 RLHF 的效用使其成为不可或缺的选项。

• 偏好数据集：这些数据集如同珍贵的宝石，蕴含了人类对不同答案的偏好排序，为模型提供了独特的视角。
• 近端策略优化：此算法凭借奖励模型，洞察文本在人类心中的价值。它据此优化 SFT 模型，通过 KL 散度进行巧妙调整。
• 直接偏好优化：DPO 将复杂的优化过程简化为分类问题。它无需奖励模型训练，仅通过一个超参数即可实现高效稳定的模型优化。

📚 参考宝库：

• RLHF 引导 LLM 培训之道：Ayush Thakur 的指引，揭示了 RLHF 在减少 LLM 偏见、提升性能方面的独特魅力。
• Hugging Face 的 RLHF 视觉盛宴：RLHF 的深入解读，包括奖励模型训练和强化学习微调，为您揭开 RLHF 的神秘面纱。
• StackLLaMA 教程：Hugging Face 团队携手 Transformer 库，引领您高效地将 LLaMA 模型与 RLHF 完美融合。
• LLM 培训探索：RLHF 与替代方案：Sebastian Rashcka 博士带您领略 RLHF 流程及 RLAIF 等替代方案的魅力。
• 运用 DPO 对 Mistral-7b 进行微调：深入探索 DPO 微调技术在 Mistral-7b 模型中的应用，并精准再现 NeuralHermes-2.5 的精彩教程。

5. 评价之艺

在 LLM 的广阔天地中，评价扮演着被低估却至关重要的角色。它既复杂又细致，需要针对下游任务精准选择评价内容。然而，请铭记古德哈特定律的警示：'一旦某项指标成为目标，其本身的可靠性便值得商榷。'

• 传统评价：虽然困惑度和 BLEU 分数等指标曾在过去盛行，但它们在今日的实际应用中显露出许多局限性。然而，了解它们以及它们适用的场合仍然是我们不可或缺的知识储备。
• 通用基准：在语言模型评估工具的支持下，开放 LLM 排行榜为通用 LLM（如 ChatGPT）提供了主要的评价标杆。同时，也有其他备受瞩目的基准测试，如 BigBench 和 MT-Bench 等。
• 任务特定基准：在摘要、翻译、问答等细分任务领域，有着各自专用的评价基准、指标和子领域（如医学、金融等）的特定要求，例如 PubMedQA，为生物医学问答领域提供了精准的评价工具。
• 真实用户评价：最终，最真实、可靠的评价来源于用户的反馈和直接的使用体验。如果你想知道一个模型是否表现出色，最简单也最有效的方法就是亲自试用它。

📚 参考资料：

• Hugging Face 对固定长度模型困惑度的深度解析：深入了解使用 Transformer 库实现困惑度计算的代码细节。
• BLEU 的利弊考量：Rachael Tatman 为我们带来了 BLEU 分数的全面解析，让我们更清晰地了解其优点与不足。
• Chang 等人对 LLM 评估的深入调查：这篇论文全面探讨了 LLM 评估的内容、方法及其重要性。
• lmsys 的 Chatbot Arena 排行榜：基于人类真实评价的通用 LLM Elo 评级，为我们提供了宝贵的参考。

6. 量化之路

量化，即通过降低模型权重（和激活）的精度来减少计算和内存成本的技术，正变得越来越重要。例如，原本使用 16 位存储的权重，现在可以被进一步压缩至 4 位表示。这一技术为我们优化 LLM 的性能和效率提供了新的方向。

• 基础技术概览：了解不同级别的精度（如 FP32、FP16、INT8 等）以及如何利用 absmax 和零点技术实现简单的量化过程。
• 位置编码：深入探索 Transformer 中的位置编码机制，特别是那些引人注目的方案，如 RoPE、ALiBi 和 YaRN，这些不仅增强了模型的理解能力，还赋予了处理更广泛上下文窗口的能力。（虽然它与直接的推理优化无直接联系，但无疑为模型提供了更广阔的视野。）

📚 参考资料：

• GPU Inference by Hugging Face：详细阐述了如何在 GPU 上实现高效的推理过程。
• Optimizing LLMs for Speed and Memory by Hugging Face：详细解读了三种关键技术——量化、Flash Attention 和架构创新，它们如何助力我们优化大型语言模型的速度和内存使用。
• Assisted Generation by Hugging Face：这是一篇极具洞察力的博客，HF 版本的推测解码技术在此得到了详尽的解读，其背后的实现逻辑令人着迷。
• Extending the RoPE by EleutherAI：一篇综述性文章，对不同的位置编码技术进行了全面的梳理和总结。
• 扩展上下文很难……但并非不可能，作者：kaiokendev：在这篇博文中，作者深入探讨了 SuperHOT 技术，并为我们带来了关于相关工作的精彩解读，为读者呈现了一个宏大的视角。

大模型&AI 产品经理学习路径

1. 学习路线图

• 第一阶段：从大模型系统设计入手，讲解大模型的主要方法；
• 第二阶段：在通过大模型提示词工程从 Prompts 角度入手更好发挥模型的作用；
• 第三阶段：大模型平台应用开发借助阿里云 PAI 平台构建电商领域虚拟试衣系统；
• 第四阶段：大模型知识库应用开发以 LangChain 框架为例，构建物流行业咨询智能问答系统；
• 第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
• 第六阶段：以 SD 多模态大模型为主，搭建了文生图小程序案例；
• 第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2. 视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的。以下是整理的大模型视频教程，对应上述路线图的每一个知识点，均有配套的视频讲解。

（资料已打包整合，共 300 多集）

3. 技术文档和电子书

主要整理了大模型相关 PDF 书籍、行业报告、文档，有几百本，均为目前行业最新的资料。

4. LLM 面试题和面经合集

主要整理了行业目前最新的大模型面试题和各种大厂 offer 面经合集。

5. 学习收获

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过课程可获得不同能力；
• 能够利用大模型解决相关实际项目需求：大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性；
• 基于大模型和企业数据 AI 应用开发，实现大模型理论、掌握 GPU 算力、硬件、LangChain 开发框架和项目实战技能，学会 Fine-tuning 垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1. AI 大模型学习路线图
2. 100 套 AI 大模型商业化落地方案
3. 100 集大模型视频教程
4. 200 本大模型 PDF 书籍
5. LLM 面试题合集
6. AI 产品经理资源合集