AGI 大模型学习路线
建议路径
建议先从主流的 Llama 开始，然后选用中文的 Qwen/Baichuan/ChatGLM，先快速上手体验 Prompt 工程，然后再学习其架构，跑微调脚本。
如果要深入学习，建议再按以下步骤，从更基础的 GPT 和 BERT 学起，因为底层是相通的。而且实际落地到一个系统中，通常是大模型结合小模型（大模型在做判别性的任务上，比 BERT 优势不是特别大）。
可以参考如下方案，按需学习。
一、简述
学习目标
- 熟悉主流 LLM：掌握 Llama, ChatGLM, Qwen 的技术架构和技术细节；有实际应用 RAG、PEFT 和 SFT 的项目经验。
- NLP 基础：具备较强的 NLP 基础，熟悉 BERT、GPT、Transformer、T5 等预训练语言模型的实现，有对话系统相关研发经验。
- 推理与部署：掌握 TensorRT-LLM、vLLM 等主流推理加速框架，熟悉模型量化、FlashAttention 等推理加速技术方案，对分布式训练 DeepSpeed 框架有实战经验。
- 工程能力：熟悉 Pytorch，具备扎实的深度学习和机器学习基础，基本掌握 C/C++、Cuda 和计算机系统原理。
参考资源概览
参考课程
- 面向开发者的 LLM 入门课程（吴恩达课程 - 中文版）
- 普林斯顿-COS 597G (Fall 2022): Understanding Large Language Models
- 斯坦福-CS324 - Large Language Models
教程
- Huggingface Transformers 官方课程
- Transformers 快速入门（快速调包 BERT 系列）
学习方式
- 力求快速应用（先调包，再深入学习）
- 在实践中动手学习，力求搞懂每个关键点
- 【原理学习】+【代码实践】+【输出总结】
基础知识储备
视频课程
- 吴恩达机器学习入门
- 李沐讲 AI
- 台大李宏毅 - 机器学习
- 斯坦福 NLP cs224n
书籍
- 《深度学习入门：基于 Python 的理论与实践》：numpy 实现 MLP、卷积的训练
- 《深度学习进阶：自然语言处理》：numpy 实现 Transformers、word2vec、RNN 的训练
- Dive In Deep Learning(动手学深度学习)
- 《神经网络与深度学习》
- 《机器学习方法》：李航的 NLP 相关的机器学习 + 深度学习知识（按需选学）
强化学习
- 强化学习教程 - 蘑菇书 EasyRL（李宏毅强化学习 + 强化学习纲要）
- 动手学强化学习
博客
- 苏剑林科学空间
二、学习纲要
1. 应用层
1.1 Zero Shot / Few Shot 快速开箱即用
- Prompt 调优：上下文学习 (In-Context Learning, ICL)，思维链 (Chain of Thought, COT)。
- RAG (Retrieval Augmented Generation)：基于文档分块、向量索引和 LLM 生成，如 Langchain 文档问答。
