大语言模型学习路线：从入门到实战
在人工智能领域，大语言模型（Large Language Models, LLMs）正迅速成为一个热点话题。本学习路线旨在为有基本 Python 编程和深度学习基础的学习者提供一个清晰、系统的大模型学习指南，帮助你在这一领域快速成长。
适应人群
- 已掌握 Python 基础
- 具备基本的深度学习知识
学习步骤
本路线将通过四个核心模块进行学习，如果希望打基础可以优先学习模块四：NLP 基础。学习比例遵循 1:2.5 的规则，即每观看一部分视频内容后，应至少投入 2.5 倍的时间进行实践练习。百分号表示学习内容的比例，如'Transformers 库（7%）'表示该部分内容占整个学习路线的 7%。
模块一：Hugging Face 平台入门
Hugging Face 是目前最流行的开源 AI 模型社区之一，提供了丰富的预训练模型和工具链。
- Transformers 库（7%）：理解如何使用 Transformers 进行模型的加载和预测。这是 Hugging Face 的核心库，支持多种架构的模型调用。
- Datasets 库（4%）：学习如何处理大规模数据集，包括数据加载、预处理和流式读取。
- Tokenizers 库（4%）：学习如何进行有效的文本分词，了解 BPE、WordPiece 等分词策略。
- PEFT 库（5%）：掌握模型训练和加速的高级技术，如 LoRA、QLoRA 参数高效微调方法。
- DeepSpeed 库（4%）：模型加速训练的底层技术，涉及分布式训练优化和显存管理。
建议视频教程：搜索'Hugging Face 教程'在官方文档或相关技术社区找到相应的课程。
模块二：大模型基础
深入理解大模型的核心原理与工程化应用。
- 预训练模型微调（10%）：学习如何根据自己的数据集微调模型，包括全量微调和部分参数微调。
- Llama2 模型学习（6%）：特别是分词器、输入输出具体格式、模型结构分析。
- ChatGLM 模型学习（3%）：了解国产大模型架构特点及适配方式。
- GPT-2 模型学习（4%）：作为早期生成式模型的代表，理解其架构演变。
- OpenAI API 的调用（2%）：学习如何使用常见的大语言模型接口进行开发。
- Prompt 工程（1%）：学习模型的使用技巧，包括提示词设计、Few-Shot Learning 等。
- RLHF 技术（1%）：学习高级模型训练技术，通过人类反馈强化学习对齐模型行为。
- LangChain 框架（2%）：学习如何使用 LangChain 进行模型开发，构建基于 LLM 的应用。
建议视频教程：在 YouTube 或技术社区搜索模型名称加'教程'关键词。
模块三：测验部分
通过实际项目测试所学知识，巩固理论成果。
- 生成式文本摘要（7%）：利用大模型生成文章或报告的摘要，评估信息压缩能力。
- 机器翻译（8%）：使用大模型完成一种语言到另一种语言的文本翻译任务，了解 BLEU 评分等指标。
- 问答系统（9%）：利用大模型和知识库，构建单轮或多轮问答系统，结合 RAG 技术提升准确性。
学习建议：当感到学习疲累时，尝试完成这一部分的实践项目，以检验和巩固学习成果。可以在 Kaggle 上找到相应的比赛项目。
模块四：NLP 基础
夯实自然语言处理的基础知识，为后续大模型学习铺路。
- PyTorch 语法（2%）：掌握深度学习框架的基本操作和张量运算。
- ：理解数组操作和数值计算基础。
