大模型主流微调技术深度解析
随着大语言模型（LLM）技术的飞速发展，从 LoRA、QLoRA 到 Flash Attention、KTO 以及模型增量学习等新技术层出不穷。对于算法工程师而言，深入理解这些技术背后的原理而非仅停留在应用层面，是构建竞争壁垒的关键。
一、Transformer 基础与架构
1. Transformer 模型原理
Transformer 架构基于 Self-Attention 机制，通过 Multi-Head Attention 设计捕捉长距离依赖。核心组件包括 Positional Encoding（位置编码）、Feed-Forward Networks（前馈网络）、Layer Normalization（层归一化）及残差连接。Rotary Positional Embedding（RoPE）进一步提升了模型的泛化能力。
2. 训练策略与解码
训练涉及参数初始化、学习率调度及正则化技术。解码策略包括 Greedy Decoding、Beam-search、Top-K Sampling 和 Top-p Sampling，直接影响生成质量。
二、高效参数微调（PEFT）
1. LoRA (Low-Rank Adaptation)
LoRA 通过低秩分解假设，在预训练权重旁路中注入可训练的低秩矩阵，大幅减少参数量。其关键步骤包括冻结原始权重、添加低秩适配器、合并权重进行推理。适用于指令微调场景。
2. QLoRA (Quantized LoRA)
QLoRA 结合 4-bit NormalFloat 量化与双量化技术，显著降低显存占用。它在保持精度的同时，使得单卡微调大模型成为可能。实现细节包括 NF4 数据类型和分页优化器。
3. AdaLoRA 与其他变体
AdaLoRA 动态调整矩阵权重，利用 SVD 技术优化资源分配。Prefix Tuning 和 Adaptor Tuning 则通过在输入或中间层插入可训练参数实现轻量级适配。
三、量化与压缩技术
1. 模型量化基础
量化将高精度浮点权重转换为低精度整数，提升推理速度并减少存储需求。常见技术包括 Post-Training Quantization (PTQ) 和 Quantization-Aware Training (QAT)。
2. ZeroQuant 与 SmoothQuant
ZeroQuant 针对稀疏性进行优化，SmoothQuant 则平衡激活值与权重的量化难度，解决某些层难以量化的问题。两者均旨在最小化精度损失的同时最大化压缩比。
3. 模型蒸馏
模型蒸馏通过将大模型（教师）的知识迁移至小模型（学生），实现性能与效率的平衡。关键技术包括 Logits 对齐、中间层特征匹配及任务特定知识迁移。
四、模型对齐技术（Alignment）
1. RLHF (Reinforcement Learning from Human Feedback)
RLHF 结合强化学习与人类反馈，通过奖励模型优化策略。核心流程包括监督微调（SFT）、奖励建模（RM）及 PPO（Proximal Policy Optimization）优化。PPO 通过裁剪目标函数稳定训练过程。
2. DPO (Direct Preference Optimization)
DPO 绕过显式奖励模型，直接利用偏好数据优化策略。它简化了训练流程，避免了 PPO 的不稳定性，适用于成对比较数据的优化。
3. KTO (Kahneman-Tversky Optimization)
KTO 基于 Kahneman-Tversky 理论，处理非配对偏好数据，提供更灵活的优化目标，特别适用于缺乏明确正负样本的场景。
五、其他微调技术与增量学习
1. Flash Attention
Flash Attention 通过 IO 感知算法优化注意力计算，减少 HBM 访问次数，显著提升训练和推理速度。Flash Attention 2 进一步优化了并行度与内存布局。
