基础知识
LLM 基础知识必不可少。内容涵盖历史梳理 LM，详解 BERT、GPT 系列等核心知识点，并配合 GPT 预训练实战、位置编码（长文本问题）实战等。
数据工程
数据至关重要，决定模型上限，算法仅能无限接近。LLM 的第一步是数据处理，国外许多 SOTA 研究均基于此。
分布式训练框架
大语言模型的规模依赖分布式技术。ZeRO 的三个级别、Deepspeed 理论与实战等是必备技能。
微调
LLM 微调对算力消耗大，涉及的知识点也最多。包括详解各种 PEFT 方法、LoRA、QLoRA（两种量化、Page Optimizer 等）、RLHF（强化学习基础、RW、PPO 和 PPO-max）等，以及 Llama-Factory 实战、LLaMA2-QLoRA 实战和 RLHF 实战。
推理和部署优化
模型完成后需考虑快速推理。详解 Flash Attention、Speculative Decoding、KV-Cache、Paged Attention、Dynamic Batching 和 Continuous Batching、稀疏 attention 和 MoE 等。
评测和分析
针对 LLM 输出，讲解如何评测、评测指标及问题定位。
应用
当前热门应用方向包括 Agent、LangChain 和 RAG。
