从零训练大语言模型：环境与代码实战指南

成功运行代码后，我们在 sanguo 目录生成如下文件：vocab.json, merges.txt, tokenizer.json 等。现在我们已经成功训练了一个大语言模型的分词器。Vocab size 设置为 50000 是一个经验值，可根据数据量大小调整。

4. 训练模型

利用下面代码进行模型训练。这里使用 Hugging Face 的 Trainer API 简化流程，它封装了训练循环、日志记录和模型保存的逻辑。

模型加载与数据集准备

import torch
from transformers import GPT2LMHeadModel, GPT2Config, Trainer, TrainingArguments
from datasets import Dataset

# 加载分词器
tokenizer = GPT2TokenizerFast.from_pretrained("./sanguo")
config = GPT2Config.from_pretrained("./sanguo")
model = GPT2LMHeadModel(config)

# 准备数据集
with open("text/sanguoyanyi.txt", "r", encoding="utf-8") as f:
    text = f.read()
dataset = Dataset.from_dict({"text": [text]})
tokenized_dataset = dataset.map(lambda x: tokenizer(x["text"], truncation=True, max_length=512), batched=True)

训练参数配置

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    save_steps=10_000,
    save_total_limit=2,
    learning_rate=2e-5,
    weight_decay=0.01,
    fp16=True, # 开启混合精度加速
    logging_steps=10,
)

启动训练

# 初始化 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
)

# 开始训练
trainer.train()
trainer.save_model("./sanguo_trained")

运行比较耗时，显示训练数据如下图（此处省略日志输出）。成功运行代码，我们发现 sanguo 目录下面多了三个文件：pytorch_model.bin, config.json, tokenizer_config.json。现在我们就成功生成训练出基于《三国演义》的一个大语言模型。

5. 测试模型

我们用文本生成，对模型进行测试代码如下：

from transformers import pipeline

generator = pipeline("text-generation", model="./sanguo_trained", tokenizer="./sanguo")
result = generator("吕布", max_length=50, num_return_sequences=1)
print(result[0]['generated_text'])

运行显示模型输出了三国相关的文本：'吕布十二回 张翼德 张翼德时曹操 武侯计计计'。 再测试一条：

result = generator("却说曹操引军因二人", max_length=50, num_return_sequences=1)
print(result[0]['generated_text'])

'接着奏乐 却说曹操引军因二人'。这内容不忍直视，如果想优化，我们也可以基于全新的模型进行微调训练；我们也可以适当地调整下训练参数，以达到较好的效果。

6. 完整代码与总结

以上代码展示了从环境到测试的完整闭环。代码去除注释空行总共约 61 行核心逻辑。 本文代码模型是基于 GPT2 的，当然你也可以基于 Llama 或者 Bert 等模型去实现全新的大语言模型。 代码虽然不是很多，但是如果初次尝试运行的话你也许会遇到很多问题，比如环境搭建。为了避免其他烦恼，建议用 docker 方式运行代码，确保依赖版本一致。 更多代码可以参考官方文档或开源社区项目 Hello LLM!。

后续建议

训练完成后，你可以尝试微调（Fine-tuning）来优化特定任务的表现。也可以结合检索增强生成（RAG）技术扩展模型的知识边界。掌握这些技术后，你将能够独立开发垂直领域的大模型应用。学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。如果你能完成所有任务，那你堪称天才。然而，如果你能完成大部分的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

常见问题排查

1. 显存不足：减小 per_device_train_batch_size 或使用梯度累积。
2. 分词错误：检查 initial_alphabet 是否匹配数据编码。
3. 训练不收敛：尝试调整 learning_rate 或增加 num_train_epochs。

以上就是本篇文章的全部内容。我们完成了一个全新的模型训练。