大模型微调常见方法总结
随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从 LoRA、QLoRA、AdaLoRA、ZeroQuant、Flash Attention、KTO、PPO、DPO、蒸馏技术到模型增量学习、数据处理、开源模型的理解等，几乎每天都有新的发展。
作为算法工程师，面对如此庞大又在飞速迭代的大模型技术体系，深入理解技术背后的原理对于保持竞争壁垒是非常必要的。以下总结了大模型微调的核心技能与知识体系。
一、大模型基础
- 概述大模型技术的行业现状
- 推荐关注的工具和开源项目
二、大模型原理
- 大模型的定义和重要性
- 大模型发展历程和关键里程碑
- 预训练与微调的基本概念
- 大模型预训练、数据处理、微调、对齐
- 大模型训练的基础设施和资源需求
- 面临的挑战和未来发展方向
三、Transformer 模型原理剖析
1. 架构与注意力机制
- Transformer 模型的基本架构
- Self-Attention 机制的原理和计算过程
- Multi-Head Attention 的设计和作用
- 注意力权重的计算和可视化
- Self-Attention 在模型中的作用和优势
2. 位置编码与网络结构
- Positional Encoding 的概念和实现方法
- Rotary Positional Embedding
- BPE tokenizer, SentencePiece Encoding
- Transformer 中的 Feed-Forward Networks
- Layer Normalization 的原理和重要性
- Transformer 模型中的残差连接
- 编码器和解码器的结构差异
3. 训练策略与优化
- Transformer 的训练策略和优化方法
- 参数初始化和学习率调度
- Transformer 模型的正则化技术
- Attention 机制的变种和改进
- Greedy Decoding, Beam-search
- Top-K Sampling, Top-p Sampling
- Transformer 源码解读
四、全量微调和高效微调
- 全量微调与高效微调的区别
- Transformer 模型微调的常见策略
- 选择合适的微调任务和数据集
- 微调中的挑战和最佳实践
- 评估微调效果的标准和工具
五、GPT 与 LLaMA 家族模型剖析
GPT 系列
- GPT 系列模型的发展历程
- GPT1 到 GPT4 模型剖析
- InstructGPT 模型剖析
- Zero-shot Prompting, Few-shot Prompting
- GPT 模型的局限性和挑战
LLaMA 系列
- LLaMA 模型的特点和技术创新
- LLaMA 模型的原理剖析
- LLaMA 与其他大模型的对比
- LLaMA 模型的训练和微调策略
ChatGLM 与 Baichuan
- ChatGLM 的架构和设计理念及技术迭代
- Baichuan 模型的概述和核心技术
- 各模型在特定任务上的应用及微调策略
