大模型学习路线
建议先从主流的 Llama 开始，然后选用中文的 Qwen/Baichuan/ChatGLM，先快速上手体验 prompt 工程，然后再学习其架构，跑微调脚本。
如果要深入学习，建议再按以下步骤，从更基础的 GPT 和 BERT 学起，因为底层是相通的，而且实际落地到一个系统中，应该也是大模型结合小模型（大模型在做判别性的任务上，比 BERT 优势不是特别大）。
可以参考如下方案，按需学习。
一、简述
按个人偏好总结了学习目标与路径，后续将陆续整理相应学习资料，并输出学习笔记。
学习思路：快速应用 Transformer 等轮子来微调和使用 LLM，同时深入学习 NLP 预训练模型原理和推理部署（因为偏底层的东西变化不大）。
学习目标
- 熟悉主流 LLM 技术：掌握 Llama, ChatGLM, Qwen 等技术架构和技术细节；有实际应用 RAG、PEFT 和 SFT 的项目经验。
- 夯实 NLP 基础：具备较强的 NLP 基础，熟悉 BERT、GPT、Transformer、T5 等预训练语言模型的实现，有对话系统相关研发经验。
- 掌握推理加速框架：掌握 TensorRT-LLM、vLLM 等主流推理加速框架，熟悉模型量化、FlashAttention 等推理加速技术方案，对分布式训练 DeepSpeed 框架有实战经验。
- 全栈开发能力：熟悉 Pytorch，具备扎实的深度学习和机器学习基础，基本掌握 C/C++、Cuda 和计算机系统原理。
参考课程
- 面向开发者的 LLM 入门课程（吴恩达课程 - 中文版）
- 普林斯顿-COS 597G (Fall 2022): Understanding Large Language Models
- 斯坦福-CS324 - Large Language Models
教程
- Huggingface Transformers 官方课程
- Transformers 快速入门（快速调包 BERT 系列）
学习方式
- 力求快速应用（先调包，再深入学习）
- 在实践中动手学习，力求搞懂每个关键点
- 【原理学习】+【代码实践】 + 【输出总结】
基础知识
- 视频课程
- 吴恩达机器学习入门
- 李沐讲 AI
- 台大李宏毅 - 机器学习
- 斯坦福 NLP cs224n
- 书籍
- 《深度学习入门：基于 Python 的理论与实践》：numpy 实现 MLP、卷积的训练
- 《深度学习进阶：自然语言处理》：numpy 实现 Transformers、word2vec、RNN 的训练
- Dive In Deep Learning(动手学深度学习)
- 《神经网络与深度学习》
- 《机器学习方法》：李航的 NLP 相关的机器学习 + 深度学习知识（按需选学）
- 强化学习
- 强化学习教程 - 蘑菇书 EasyRL（李宏毅强化学习 + 强化学习纲要）
- 动手学强化学习
- 博客
- 苏剑林科学空间
学习纲要
应用：
1、Zero Shot / Few Shot 快速开箱即用
- Prompt 调优：包括上下文学习 In-Context Learning (ICL)，思维链 Chain of Thought (COT)。
- RAG (Retrieval Augmented Generation)：基于文档分块、向量索引和 LLM 生成，如 Langchain 文档问答。
