Python PaddleNLP 实现自动生成虎年藏头诗

4. 模型加载与推理

对于初学者，直接使用预训练模型进行推理是最快捷的方式。PaddleNLP 提供了丰富的预训练模型，支持零样本或少样本生成。

4.1 加载预训练模型

from paddlenlp.transformers import AutoModelForCausalLM

model_name = "gpt2-chinese"
model = AutoModelForCausalLM.from_pretrained(model_name)

4.2 生成参数配置

控制生成质量的关键参数包括温度（temperature）、Top-K 采样和 Top-P 采样。

• Temperature：值越大，输出越随机；值越小，输出越确定。
• Top-K：限制从概率最高的 K 个 token 中采样。
• Top-P：累积概率阈值，动态截断采样范围。

import torch

# 设置生成参数
temperature = 0.8
top_k = 50
top_p = 0.9
max_length = 100

# 执行生成
outputs = model.generate(
    input_ids=input_ids,
    max_length=max_length,
    temperature=temperature,
    top_k=top_k,
    top_p=top_p,
    do_sample=True
)

5. 完整代码示例

以下是一个完整的脚本示例，演示如何加载模型并生成指定首字的诗句。

import paddle
from paddlenlp.transformers import AutoModelForCausalLM, AutoTokenizer

def generate_poem(head_char):
    # 初始化模型和分词器
    model_name = "gpt2-chinese"
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForCausalLM.from_pretrained(model_name)
    
    # 构造输入
    prompt = head_char + "\n"
    input_ids = tokenizer.encode(prompt, return_tensors="pd")
    
    # 生成配置
    outputs = model.generate(
        input_ids=input_ids,
        max_length=60,
        temperature=0.8,
        top_k=50,
        top_p=0.9,
        do_sample=True,
        pad_token_id=tokenizer.pad_token_id,
        eos_token_id=tokenizer.eos_token_id
    )
    
    # 解码输出
    result = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return result

if __name__ == "__main__":
    # 尝试生成以'虎'开头的诗句
    poem = generate_poem("虎")
    print(poem)

6. 常见问题与优化

6.1 显存不足

如果在使用 GPU 时出现 OOM（Out Of Memory）错误，可以尝试减小 batch size 或使用更小的模型版本。同时确保关闭不必要的后台进程。

6.2 生成内容不连贯

调整 Temperature 参数至 0.5-0.7 之间通常能提升连贯性。若仍不理想，可考虑对模型进行微调（Fine-tuning），使用特定风格的古诗数据进行训练。

6.3 依赖冲突

PaddleNLP 依赖较多，建议在纯净环境中安装。如遇 numpy 或 scipy 版本问题，可参考官方文档指定的兼容版本。

7. 总结

通过 PaddleNLP，开发者可以快速搭建古诗生成系统。本文介绍了从环境搭建、数据处理到模型推理的全流程。虽然本示例使用了通用预训练模型，但在实际应用中，针对特定风格（如五言、七言）的微调将显著提升生成质量。