从零构建并训练基于 BERT 架构的生成式大模型

6. 后处理及解码器配置

为了符合 BERT 的输入格式，需要配置 TemplateProcessing 来处理单句和双句的 [CLS] 和 [SEP] 标记位置。同时设置解码器前缀，以便 WordPiece 还原时能正确拼接子词。

class_token_id = tokenizer.token_to_id("[CLS]")
sep_token_id = tokenizer.token_to_id("[SEP]")
tokenizer.post_processor = processors.TemplateProcessing(
    single=f"[CLS]:0 $A:0 [SEP]:0",
    pair=f"[CLS]:0 $A:0 [SEP]:0 $B:1 [SEP]:1",
    special_tokens=[("[CLS]", class_token_id), ("[SEP]", sep_token_id)],
)
tokenizer.decoder = WordPieceDecoder(prefix="##")

7. 保存分词器

将训练好的分词器保存为 JSON 格式，以便后续加载。

tokenizer.save("tokenizer.json")

若要在 Hugging Face Transformers 中使用此分词器，需将其包装在 BertTokenizerFast 类中。

from transformers import BertTokenizerFast

wrapped_tokenizer = BertTokenizerFast(tokenizer_object=tokenizer)
wrapped_tokenizer.save_pretrained("./bert")

此时，./bert 目录下将包含 vocab.txt、tokenizer.json 等必要文件。

第二部分：模型训练

1. 导入训练相关模块

加载模型配置、模型类、数据集加载器及训练参数。

from transformers import (
    BertConfig, BertLMHeadModel, BertTokenizer,
    LineByLineTextDataset, DataCollatorForLanguageModeling,
    Trainer, TrainingArguments
)

注意：LineByLineTextDataset 在新版 Transformers 中可能已被弃用，建议在实际生产环境中使用 datasets 库中的 load_dataset 替代，或自定义 Dataset 类以确保兼容性。

2. 加载分词器

加载第一步中训练并保存的分词器。

tokenizer = BertTokenizer.from_pretrained("./bert")

3. 模型配置与初始化

配置 BERT 模型结构。关键点是将 is_decoder 设置为 True，使其具备自回归生成能力（类似 GPT 模式），尽管底层仍是 BERT 架构。

config = BertConfig(
    vocab_size=tokenizer.vocab_size,
    is_decoder=True
)
model = BertLMHeadModel(config)

4. 数据加载与处理

加载文本数据并进行分块处理。block_size 决定了每个样本的最大长度，需根据显存大小调整。

dataset = LineByLineTextDataset(
    tokenizer=tokenizer,
    file_path="./sanguo.txt",
    block_size=512  # 建议根据显存调整为 512 或 1024
)

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,  # 设为 False 表示进行 Next Token Prediction
    mlm_probability=0.15
)

5. 训练参数设定

配置训练超参数，包括输出目录、训练轮数、批次大小及保存策略。

training_args = TrainingArguments(
    output_dir="./output",
    overwrite_output_dir=True,
    num_train_epochs=3,
    per_device_train_batch_size=4,
    save_steps=1000,
    save_total_limit=2,
    logging_steps=100,
    learning_rate=5e-5,
    weight_decay=0.01
)

trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=dataset
)

trainer.train()

6. 模型保存

训练完成后，保存模型权重和配置。

model.save_pretrained("./bert_model")

第三部分：模型推理测试

训练完成后，可以使用 Pipeline 接口进行文本生成测试。建议设置随机种子以保证结果可复现。

from transformers import pipeline, set_seed

generator = pipeline("text-generation", model="./bert_model")
set_seed(42)

# 测试生成
result = generator("吕布", max_length=50, do_sample=True, top_k=50, temperature=0.7)
print(result)

再次尝试不同的提示词：

result = generator("接着奏乐", max_length=50, do_sample=True, top_k=50, temperature=0.7)
print(result)

第四部分：常见问题与优化建议

1. 显存不足问题

如果训练过程中出现 OOM（Out Of Memory）错误，请尝试以下措施：

• 减小 per_device_train_batch_size。
• 减小 block_size。
• 启用梯度累积（Gradient Accumulation）。
• 使用混合精度训练（FP16），在 TrainingArguments 中设置 fp16=True。

2. 过拟合与欠拟合

• 过拟合：验证集 Loss 上升而训练集 Loss 下降。可增加 Dropout 比例，减少训练轮数，或使用正则化。
• 欠拟合：Loss 下降缓慢或不降。可增加学习率，延长训练时间，或检查数据质量。

3. 生成质量优化

在推理阶段，调整采样参数可显著影响生成效果：

• temperature：值越小越保守，值越大越随机。
• top_p：核采样，限制候选词范围。
• repetition_penalty：惩罚重复出现的 token，防止死循环。

总结

本文详细介绍了从零构建 BERT 架构大模型的完整技术链路。从分词器的 WordPiece 训练，到模型架构的解码器模式配置，再到具体的训练循环实现与推理测试，涵盖了核心代码与关键参数说明。通过实践本教程，开发者能够掌握大模型预训练的基础技能，为进一步探索更复杂的 Transformer 变体打下坚实基础。