GitHub 热门 LLM 公开资料与大模型入门教程
本文整理了大型语言模型（LLM）领域的核心学习资料，涵盖基础数学与 Python、架构原理、微调技术、量化方法及工程化部署。内容分为 LLM 基础、科学家视角及工程师视角三部分，包含预训练、指令微调、RLHF、RAG 管道构建等关键知识点，并推荐了相关工具库与评估基准，适合希望系统掌握大模型技术的开发者参考。
0. 一些有用的 Notebook
与大型语言模型相关的笔记本和文章列表。
工具
- RunPod：使用 RunPod 自动评估大语言模型（LLMs）。
- LazyMergekit：轻松使用 MergeKit 一键合并模型。
- AutoGGUF：一键将大语言模型（LLMs）量化为 GGUF 格式。
- Model Family Tree：可视化被合并模型的家族树。
Fine-tuning
- Colab Llama2：使用 Colab 对 Llama2 进行 fine-tuning。
- Axolotl：使用 Axolotl 对 LLMs 进行 fine-tuning。
- DPO Mistral-7b：使用 DPO 对 Mistral-7b 进行 fine-tuning。
Quantization
- 8-bit 量化：使用 8-bit 量化优化大语言模型。
- GPTQ：使用 GPTQ 进行 4-bit 量化。
- GGUF 和 llama.cpp：使用 GGUF 和 llama.cpp 进行量化。
- ExLlamaV2：LLMs 运行最快的库。
其它
- 解码策略：大语言模型 LLMs 中的解码策略。
- 损失函数可视化：GPT-2 的损失函数值可视化。
- 知识图谱：使用知识图谱提升 chatGPT。
- Mergekit：使用 mergekit 合并 LLMs。
1. LLM 基础
1.1 机器学习 ML 的数学基础
在学习机器学习之前，了解这些算法背后的基本数学概念非常重要。
- 线性代数：这对于理解许多算法至关重要，尤其是那些用于深度学习的算法。关键概念包括向量、矩阵、行列式、特征值和特征向量、向量空间以及线性变换。
- 微积分：许多机器学习算法涉及连续函数的优化，这需要理解导数、积分、极限和级数。多变量微积分和梯度概念也很重要。
- 概率与统计：这些对于理解模型如何从数据中学习并进行预测至关重要。关键概念包括概率论、随机变量、概率分布、期望、方差、协方差、相关性、假设检验、置信区间、最大似然估计和贝叶斯推断。
资源推荐：
- 一系列视频，为这些概念提供了几何直觉。
- 为许多统计概念提供了简单明了的解释。
- 一系列 Medium 文章，提供了每个概率分布背后的直觉。
- 另一种线性代数的视觉解释。
- 非常适合初学者，以非常直观的方式解释概念。
- 一个互动课程，涵盖了微积分的所有基础知识。
- 以易于理解的格式呈现材料。
1.2 ML 中的 Python
Python 是一种功能强大且灵活的编程语言，由于其可读性、一致性以及数据科学库的强大生态系统，特别适合用于机器学习。
- ：Python 编程需要对基本语法、数据类型、错误处理和面向对象编程有良好的理解。
