大模型微调（Fine-Tuning）实战指南：基于 Hugging Face 与 GPT2

5. 加载 Tokenizer

Tokenizer 负责将文本转换为模型可理解的数字序列。直接使用 AutoTokenizer 加载对应模型的分词器。

from transformers import AutoTokenizer

# 加载 tokenizer
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)

# 设置 pad_token，防止 padding 时出错
tokenizer.add_special_tokens({'pad_token': '[PAD]'})
tokenizer.pad_token_id = 0

6. 处理训练数据集

使用 map 函数对数据进行预处理，包括分词、截断/填充、标签转换等。

# 标签映射
named_labels = ['neg', 'pos']
label_ids = [
    tokenizer(named_labels[i], add_special_tokens=False)["input_ids"][0] 
    for i in range(len(named_labels))
]

MAX_LEN = 32  # 最大序列长度
DATA_BODY_KEY = "text"
DATA_LABEL_KEY = "label"

def process_fn(examples):
    model_inputs = {
        "input_ids": [],
        "attention_mask": [],
        "labels": [],
    }
    for i in range(len(examples[DATA_BODY_KEY])):
        inputs = tokenizer(examples[DATA_BODY_KEY][i], add_special_tokens=False)
        label = label_ids[examples[DATA_LABEL_KEY][i]]
        
        # 拼接输入和标签
        input_ids = inputs["input_ids"] + [tokenizer.eos_token_id, label]
        
        raw_len = len(input_ids)
        input_len = len(inputs["input_ids"]) + 1

        if raw_len >= MAX_LEN:
            # 截断
            input_ids = input_ids[-MAX_LEN:]
            attention_mask = [1] * MAX_LEN
            labels = [-100] * (MAX_LEN - 1) + [label]
        else:
            # 填充
            input_ids = input_ids + [0] * (MAX_LEN - raw_len)
            attention_mask = [1] * raw_len + [tokenizer.pad_token_id] * (MAX_LEN - raw_len)
            labels = [-100] * input_len + [label] + [-100] * (MAX_LEN - raw_len)
            
        model_inputs["input_ids"].append(input_ids)
        model_inputs["attention_mask"].append(attention_mask)
        model_inputs["labels"].append(labels)
    return model_inputs

# 应用处理函数
tokenized_train_dataset = raw_train_dataset.map(
    process_fn,
    batched=True,
    remove_columns=raw_train_dataset.column_names,
    desc="Running tokenizer on train dataset",
)

tokenized_valid_dataset = raw_valid_dataset.map(
    process_fn,
    batched=True,
    remove_columns=raw_valid_dataset.column_names,
    desc="Running tokenizer on validation dataset",
)

7. 定义数据规整器

训练时，数据规整器（Collator）负责将样本动态拼成 Batch，并处理 Padding。

from transformers import DataCollatorWithPadding

collater = DataCollatorWithPadding(
    tokenizer=tokenizer, 
    return_tensors="pt",
)

8. 定义训练超参数

合理的超参数是训练成功的关键。

LR = 2e-5         # 学习率
BATCH_SIZE = 8    # Batch 大小
INTERVAL = 100    # 日志与评估步数

training_args = TrainingArguments(
    output_dir="./output",              # 检查点保存路径
    evaluation_strategy="steps",        # 每 N 步做一次 eval
    overwrite_output_dir=True,
    num_train_epochs=1,                 # 训练轮数
    per_device_train_batch_size=BATCH_SIZE,
    gradient_accumulation_steps=1,      # 梯度累积步数
    per_device_eval_batch_size=BATCH_SIZE,
    logging_steps=INTERVAL,             # 日志频率
    save_steps=INTERVAL,                # 保存频率
    learning_rate=LR,
    fp16=True,                          # 启用混合精度加速（需显卡支持）
)

关键参数说明

• 学习率 (Learning Rate)：控制权重更新的幅度。过大导致不收敛，过小导致训练慢。
• Batch Size：每次迭代使用的样本数。显存不足时可减小此值或使用梯度累积。
• Epochs：遍历整个数据集的次数。通常微调不需要太多 Epoch，避免过拟合。
• CheckPoints：周期性保存模型状态，支持断点续训。

9. 定义训练器

Hugging Face 的 Trainer API 封装了训练循环，简化了代码结构。

from transformers import Trainer

# 开启梯度检查点以节省显存
model.gradient_checkpointing_enable()

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=collater,
    train_dataset=tokenized_train_dataset,
    eval_dataset=tokenized_valid_dataset,
)

10. 开始训练

调用 train() 方法启动训练过程。

trainer.train()

训练完成后，控制台会显示 Loss 下降曲线及预计耗时。模型权重会自动保存在 output 目录下。

11. 模型推理与应用

训练完成后，通常需要加载微调后的模型进行推理。

from transformers import TextGenerationPipeline

# 加载微调后的模型
fine_tuned_model = AutoModelForCausalLM.from_pretrained("./output")
pipeline = TextGenerationPipeline(model=fine_tuned_model, tokenizer=tokenizer)

# 生成文本
result = pipeline("The movie was", max_length=50)
print(result)

12. 常见问题与优化建议

1. 显存不足：若遇到 OOM 错误，请减小 BATCH_SIZE，或开启 fp16 混合精度训练。
2. 过拟合：如果验证集 Loss 上升而训练集 Loss 下降，尝试减少 num_train_epochs 或增加正则化。
3. 训练速度慢：确保安装了 CUDA 版本的 PyTorch，并使用 GPU 加速。
4. 数据质量：微调效果高度依赖数据质量，确保清洗过的数据准确反映目标分布。

通过以上步骤，你可以完成从环境搭建到模型部署的完整微调流程。掌握这一技能，能够让你针对垂直领域快速构建专用 AI 模型。