LLM 大模型入门教程
本教程旨在为大模型初学者提供系统化的学习路径，涵盖从基础环境搭建、模型训练、高效微调、分布式并行技术到推理加速及压缩优化的全流程。内容基于主流开源框架与工业界实践总结，帮助开发者掌握大模型核心技术与落地方法。
LLM 训练
LLM 训练实战
在大模型实践中，训练是核心环节。从预训练（Pre-training）到监督微调（SFT），再到基于人类反馈的强化学习（RLHF），不同阶段对应不同的数据需求与计算资源。以下汇总了常见模型的训练方案，覆盖从 6B 到 65B 参数规模，支持全量微调到高效微调（LoRA, QLoRA, P-Tuning v2）等多种策略。
| LLM | 预训练/SFT/RLHF… | 参数 | 教程 | 代码 |
|---|---|---|---|---|
| Alpaca | full fine-tuning | 7B | 从 0 到 1 复现斯坦福羊驼（Stanford Alpaca 7B） | 配套代码 |
| Alpaca(LLaMA) | LoRA | 7B~65B | 使用 LoRA 技术对 LLaMA 进行微调及推理，二十分钟完成效果比肩斯坦福羊驼 | 配套代码 |
| BELLE(LLaMA/Bloom) | full fine-tuning | 7B | 基于 LLaMA-7B/Bloomz-7B1-mt 复现开源中文对话大模型及 GPTQ 量化 | N/A |
| ChatGLM | LoRA | 6B | 从 0 到 1 基于 ChatGLM-6B 使用 LoRA 进行参数高效微调 | 配套代码 |
| ChatGLM | full fine-tuning/P-Tuning v2 | 6B | 使用 DeepSpeed/P-Tuning v2 对 ChatGLM-6B 进行微调 | 配套代码 |
| Vicuna(LLaMA) | full fine-tuning | 7B | 大模型内卷，Vicuna 训练及推理指南，效果碾压斯坦福羊驼 | N/A |
| OPT | RLHF | 0.1B~66B | 一键式 RLHF 训练 DeepSpeed Chat（理论篇与实践篇） | 配套代码 |
| MiniGPT-4(LLaMA) | full fine-tuning | 7B | 多模态大模型 MiniGPT-4 入坑指南 | N/A |
| Chinese-LLaMA-Alpaca(LLaMA) | LoRA（预训练 + 微调） | 7B | 中文 LLaMA&Alpaca 大语言模型词表扩充 + 预训练 + 指令精调 | 配套代码 |
| LLaMA | QLoRA | 7B/65B | 高效微调技术 QLoRA 实战，基于 LLaMA-65B 微调仅需 48G 显存 | 配套代码 |
LLM 微调技术原理
对于普通开发者而言，全量微调大模型成本高昂且门槛极高。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术的出现，使得在有限资源下适配特定任务成为可能。该技术通过冻结大部分预训练权重，仅训练少量新增参数或调整部分层，大幅降低显存占用与计算开销。
本系列深入解析七大核心技术点：
- 背景与简介：阐述大模型微调面临的挑战及 PEFT 的基本概念。
- BitFit、Prefix Tuning、Prompt Tuning：介绍早期轻量级微调方法及其适用场景。