大语言模型(LLM)学习路径与核心资源指南
本文旨在为工程技术人员提供系统的大语言模型(Large Language Model, LLM)学习路径。内容涵盖从基础概念、进阶原理、应用开发到深入微调的四个阶段,精选了业界主流的资源与工具,帮助读者构建完整的知识体系。
梳理了大语言模型(LLM)的学习路径,涵盖入门基础、进阶原理、应用开发及深入微调四个阶段。内容包含 OpenAI API 使用、Transformer 架构解析、LangChain 框架实践以及 LoRA 微调技术。旨在为工程技术人员提供系统的学习资源与实战方向,帮助掌握从模型调用到生产环境部署的全流程技能。

本文旨在为工程技术人员提供系统的大语言模型(Large Language Model, LLM)学习路径。内容涵盖从基础概念、进阶原理、应用开发到深入微调的四个阶段,精选了业界主流的资源与工具,帮助读者构建完整的知识体系。
本文分为四个章节,各章节的学习目标如下。请注意本文主要是面向工程界撰写,学术部分较少,侧重于落地实践。
读者可以根据自己需要选择对应的章节。如对大语言模型的原理不感兴趣,可只关注入门篇和应用篇。考虑到阅读背景,本文尽可能提供中文资料或有中文翻译的资料。
在入门之前,请申请 OpenAI API,并具备良好的国际互联网访问条件。
大语言模型迄今为止最好的学术向中文综述,适合建立宏观认知。
虽然是 Prompt 工程,但是内容比较简单,适合入门者快速上手。
OpenAI 官方 Quickstart 文档,包含最基础的调用示例。
GPT 联合创始人做的演示,极好的总结了 GPT 的训练和应用。
从 NLP 到大模型的综合课程,挑选感兴趣的了解。
台湾大学李宏毅,国语教程里最好的,讲的很清楚,也比较有趣。
深入理解大语言模型内部机制。
图解 GPT2,直观展示 Transformer 架构。
著名的 InstructGPT 论文,介绍了 RLHF(基于人类反馈的强化学习)的核心思想。
NLP 入门课程,涵盖 Transformers 库的使用。
LangChain 是大语言模型最火的应用框架。即使不使用,也可以借鉴其设计思想。
OpenAI 官方出的最佳实践,指导如何编写高质量的 Prompt。
OpenAI 官方 Cookbook,包含大量代码示例和解决方案。
Prompt 工程简介,提供了实用的提示词模板。
Transformer 官方文档,查阅模型实现细节的首选。
略学术,解释大语言模型能力的来源,探讨推理边界。
视频精读,深入解析经典论文的技术细节。
在生产环境中构建 LLM 应用,涉及延迟、成本、稳定性等工程问题。
为了完善学习路径,以下对关键概念进行补充说明:
Transformer 通过自注意力机制(Self-Attention)捕捉序列中的长距离依赖关系。Decoder-only 结构(如 GPT 系列)主要用于生成任务,而 Encoder-Decoder 结构(如 T5)更适合翻译等任务。理解 Positional Encoding 和 Multi-Head Attention 是深入理解模型的基础。
全量微调成本高昂,LoRA(Low-Rank Adaptation)通过冻结预训练权重并在旁路添加低秩矩阵,大幅降低显存需求。QLoRA 进一步引入量化技术,使得在消费级显卡上微调大模型成为可能。
生产环境需关注推理速度(Latency)和吞吐量(Throughput)。常用工具包括 vLLM、TGI(Text Generation Inference)等,它们支持 PagedAttention 等优化技术。此外,还需考虑模型压缩、蒸馏以及缓存策略。
检索增强生成(RAG)是解决大模型幻觉的关键技术。通过将外部知识库向量化存入数据库(如 Milvus, Chroma),在生成前检索相关上下文,显著提升回答的准确性和时效性。
注:本文整理自公开技术资料,所有链接均指向原始发布源。建议读者根据实际网络环境访问。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online