大语言模型（LLM）学习路径与核心资源指南

0x20 提高篇

清华大模型公开课

从 NLP 到大模型的综合课程，挑选感兴趣的了解。

深度学习：台湾大学李宏毅

台湾大学李宏毅，国语教程里最好的，讲的很清楚，也比较有趣。

Understanding large language models

深入理解大语言模型内部机制。

The Illustrated GPT-2 (Visualizing Transformer Language Models)

图解 GPT2，直观展示 Transformer 架构。

• 中文翻译：https://zhuanlan.zhihu.com/p/139840113

InstructGPT: Training language models to follow instructions with human feedback

著名的 InstructGPT 论文，介绍了 RLHF（基于人类反馈的强化学习）的核心思想。

• 中文介绍：https://huggingface.co/blog/zh/rlhf

Huggingface NLP Course

NLP 入门课程，涵盖 Transformers 库的使用。

0x30 应用篇

Building Systems with the ChatGPT API

中文字幕：https://www.bilibili.com/video/BV1gj411X72B/

Langchain

LangChain 是大语言模型最火的应用框架。即使不使用，也可以借鉴其设计思想。

• 中文字幕：https://www.bilibili.com/video/BV1Ku411x78m/
• 文档：LangChain for LLM Application Development

GPT best practices

OpenAI 官方出的最佳实践，指导如何编写高质量的 Prompt。

openai-cookbook

OpenAI 官方 Cookbook，包含大量代码示例和解决方案。

Brex's Prompt Engineering Guide

Prompt 工程简介，提供了实用的提示词模板。

0x40 深入篇

Huggingface Transformer 文档

Transformer 官方文档，查阅模型实现细节的首选。

复杂推理：大语言模型的北极星能力

略学术，解释大语言模型能力的来源，探讨推理边界。

GPT，GPT-2，GPT-3 论文精读

视频精读，深入解析经典论文的技术细节。

Building LLM applications for production

在生产环境中构建 LLM 应用，涉及延迟、成本、稳定性等工程问题。

补充技术详解

为了完善学习路径，以下对关键概念进行补充说明：

1. Transformer 架构核心

Transformer 通过自注意力机制（Self-Attention）捕捉序列中的长距离依赖关系。Decoder-only 结构（如 GPT 系列）主要用于生成任务，而 Encoder-Decoder 结构（如 T5）更适合翻译等任务。理解 Positional Encoding 和 Multi-Head Attention 是深入理解模型的基础。

2. 微调策略（Fine-tuning）

全量微调成本高昂，LoRA（Low-Rank Adaptation）通过冻结预训练权重并在旁路添加低秩矩阵，大幅降低显存需求。QLoRA 进一步引入量化技术，使得在消费级显卡上微调大模型成为可能。

3. 生产环境部署

生产环境需关注推理速度（Latency）和吞吐量（Throughput）。常用工具包括 vLLM、TGI（Text Generation Inference）等，它们支持 PagedAttention 等优化技术。此外，还需考虑模型压缩、蒸馏以及缓存策略。

4. 向量数据库与 RAG

检索增强生成（RAG）是解决大模型幻觉的关键技术。通过将外部知识库向量化存入数据库（如 Milvus, Chroma），在生成前检索相关上下文，显著提升回答的准确性和时效性。

注：本文整理自公开技术资料，所有链接均指向原始发布源。建议读者根据实际网络环境访问。