本文整理了 AGI 大模型学习路线，涵盖主流模型架构如 Llama、Qwen、ChatGLM 等。内容包含 Prompt 工程、微调技术（PEFT、SFT、RLHF）、推理加速框架（vLLM、TensorRT-LLM）及分布式训练（DeepSpeed）。同时涉及预训练语言模型原理（Transformer、BERT、GPT）、数据构建与评估体系，以及多模态应用落地方案。旨在帮助开发者掌握从基础理论到工程部署的全栈技能，提升在人工智能领域的竞争力。
建议先从主流的 Llama 开始，然后选用中文的 Qwen/Baichuan/ChatGLM，先快速上手体验 prompt 工程，然后再学习其架构，跑微调脚本。
如果要深入学习，建议再按以下步骤，从更基础的 GPT 和 BERT 学起，因为底层是相通的，而且实际落地到一个系统中，应该也是大模型结合小模型（大模型在做判别性的任务上，比 BERT 优势不是特别大）。
可以参考如下方案，按需学习。
按个人偏好总结了学习目标与路径，后续将陆续整理相应学习资料，并输出学习笔记。
学习思路：快速应用 Transformer 等轮子来微调和使用 LLM，同时深入学习 NLP 预训练模型原理和推理部署（因为偏底层的东西变化不大）。
应用：
1、Zero Shot / Few Shot 快速开箱即用
2、领域数据 - 指令微调 LLM
3、对齐
4、预训练
5、训练推理优化
1.1 技术分析
1.2 市场需求分析
2.1 ChatGPT 的工作原理
2.2 算法细节
3.1 Transformer
3.2 GPT
3.3 BERT
3.4 T5 系列
3.5 UniLM
4.1 提示学习 PromptLearning
4.2 上下文学习 ContextLearning
4.3 指令数据构建
5.1 Mistral
5.2 Llama
5.3 ChatGLM
6.1 全量指令微调 SFT
6.2 高效微调 PEFT
7.1 预训练模型中的分词器
7.2 分布式训练
7.3 MOE 混合专家模型
8.1 推理规划
8.2 综合应用框架
8.3 智能代理 AI Agent
9.1 注意力优化
9.2 CPU 推理加速
9.3 推理优化框架
9.4 训练加速
10.1 强化学习概述
10.2 强化学习环境
10.3 强化学习算法
11.1 近端策略优化算法 PPO
11.2 基于人类反馈的强化学习 RLHF
12.1 任务设计
12.2 数据准备
13.1 数据来源
13.2 数据处理
13.3 数据影响分析
13.4 开源数据集合
14.1 模型评估概述
14.2 大语言模型评估体系
14.3 大语言模型评估方法
14.4 大语言模型评估实践
16.1 落地调研
16.2 应用分析
在企业里面做 7B、13B 量级的微调，主要就是在搞数据、样本，技术壁垒不高。预训练壁垒高，因为需要烧钱堆经验。
在这个日新月异的时代，如何紧跟行业主流发展，并具备不可替代性是个难题：
尽量往底层和工程化上靠，学习相对不变的技术（理论上变化很难），迁移到稳定或有前景的行业，不断提升自己的学习效率：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
