预训练与微调的本质区别及实践指南

在实际的大规模预训练中，通常会结合分布式框架（如 DeepSpeed 或 Megatron-LM）来管理多卡通信和显存分片。由于篇幅限制，此处不展开具体的分布式脚本编写，但需注意 gradient_accumulation_steps 和 micro_batch_size 的调优对显存的影响。

2. 微调策略：Full vs PEFT

微调主要分为全量微调（Full Fine-Tuning）和参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）。

全量微调 (Full Fine-Tuning)

更新模型所有参数。效果最好，但显存消耗大，容易遗忘预训练知识（灾难性遗忘）。

from transformers import AutoModelForCausalLM, TrainingArguments, Trainer

model_name = "your-pretrained-model"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    attn_implementation="flash_attention_2", # 视硬件支持情况选择
    device_map="auto"
)

# 开启梯度检查点以节省显存
model.gradient_checkpointing_enable()

参数高效微调 (PEFT)

仅训练少量新增参数，冻结大部分预训练权重。主流方法包括 LoRA 和 QLoRA。

LoRA (Low-Rank Adaptation) 原理是将权重的更新分解为两个低秩矩阵 $A$ 和 $B$，即 $ riangle W = BA$。这大大减少了可训练参数量。

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=8,  # 低秩秩数
    lora_alpha=32,  # 缩放系数
    target_modules=["q_proj", "v_proj"],  # 目标模块
    lora_dropout=0.1,
    bias="none",
    task_type="CAUSAL_LM"
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

QLoRA (Quantized LoRA) 在 LoRA 基础上引入 4-bit 量化，进一步降低显存需求，使得在消费级显卡上微调大模型成为可能。

from transformers import BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto"
)

四、分布式训练策略

当模型参数量超过单卡显存容量时，必须采用分布式训练。常见的并行策略包括：

1. 数据并行 (Data Parallelism, DP) 将数据切分到不同设备上，每个设备拥有完整的模型副本。通过 All-Reduce 操作同步梯度。FSDP (Fully Sharded Data Parallel) 是 PyTorch 中更高效的实现，它将模型参数分片存储在不同设备上。

2. 流水线并行 (Pipeline Parallelism, PP) 将模型层按顺序切分到不同设备上，形成流水线。不同设备处理不同的批次数据，减少显存压力，但可能增加通信等待时间。

3. 张量并行 (Tensor Parallelism, TP) 将单个层的计算（如矩阵乘法）拆分到多个设备上同时完成。需要修改模型计算图，通常用于极大规模的模型（如 70B+）。

目前业界常用工具包括 Megatron-LM、DeepSpeed 以及 Hugging Face Accelerate。在使用 Accelerate 进行 FSDP 训练时，可以结合其他并行策略实现更高效的资源利用。

五、最佳实践与总结

1. 数据质量优于数量：在微调阶段，清洗过的高质量指令数据比海量噪声数据更能提升模型表现。
2. 防止灾难性遗忘：在微调时，适当保留部分预训练数据混合训练，或使用正则化约束（如 L2 Regularization）。
3. 显存优化：优先尝试 QLoRA 或 8-bit 优化器（如 paged_adamw_8bit），配合梯度累积（Gradient Accumulation）扩大有效 Batch Size。
4. 评估指标：除了 Loss 下降，务必关注验证集上的困惑度（Perplexity）或具体任务指标（如 Accuracy, BLEU, ROUGE）。

预训练构建了模型的'大脑'，而微调则赋予了它'专业技能'。合理选择训练策略，能够以最小的成本获得最佳的模型性能。