详细解析了冻结 Prompt 微调大语言模型的两个经典工作：T5 与 PET。T5 提出了 Text-to-Text 统一框架，将各类 NLP 任务转化为文本生成任务，通过前缀 Prompt 实现多任务处理。PET 则利用完形填空式 Prompt 将文本分类转化为掩码词预测，结合半监督蒸馏方案提升小样本性能。文章分析了两种方法的架构设计、Prompt 构建逻辑、损失函数及优缺点，并提供了代码实现示例，为理解 Prompt Engineering 奠定基础。
随着预训练语言模型（PLM）的发展，传统的微调方法逐渐显露出参数效率低、灾难性遗忘等问题。Prompt Tuning 作为一种新兴范式，旨在通过设计输入提示（Prompt）将下游任务转化为预训练时的原始任务形式，从而在冻结大部分模型参数的情况下实现高效迁移。本文深入探讨了两个经典工作：Google 的 T5（Text-to-Text Transfer Transformer）和 PET（Prompt-based Few-Shot Text Classification），分析其核心机制、构建方式及优缺点。
Paper: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (2019.10)
T5 的核心初衷在于全面公平地对比不同预训练和迁移策略的贡献。为了避免特定模型架构对预训练目标效果的干扰，T5 提出了一个统一的建模框架，将所有 NLP 任务转化为文本生成任务。
为了验证通用性，T5 在以下维度进行了广泛对比：
结果显示，Encoder-Decoder 架构配合 Span Masking 损失函数效果最佳。这或许解释了为何 Google 押注 T5 而非像 OpenAI 早期那样选择纯 Decoder 结构。
T5 提出了一种通用的建模框架：使用相同的模型、相同的预训练、相同的损失函数和解码方式，将文本分类、摘要、翻译、QA 等任务全部转化为生成任务。转化的关键在于加入前缀 Prompt。
针对不同的下游微调任务，T5 设计了特定的 Prompt 模板：
机器翻译 (WMT English to German)
translate English to German: + 原文文本摘要 (CNN Mail)
Summarize: + 原文自然语言推理 (MNLI)
mnli hypothesis: + 假设 + premise: + 前提语义文本相似度 (STS)
sts sentence1: + 句子 1 + sentence2: + 句子 2问答 (SQuAD)
question: + 提问 + context: + 上下文在 T5 的时代，Prompt 模板的构建相对粗糙，更多是单纯的任务名称加任务类型来区分。这种方式让模型在解码时采用不同的条件概率（Attention），但并未充分利用语义和上下文关联的深度优化。尽管如此，T5 在通用 LM 上的贡献奠定了后续 Prompt Engineering 的基础。
Paper: Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Understanding (2020.1)
PET 将输入映射成完形填空式的 Prompt 模板，对掩码词（MASK）进行预测作为分类标签。它引入了半监督方案来解决 Prompt 的不稳定性问题。
PET 针对每个数据集人工设计了 Prompt 模板和 Answer 词对标签的映射。标签词的选取是一对一的构建模式，每个 Label 只选取一个词来表示。
单输入示例 (Yelp 评论打分)
It was [MASK].双输入示例 (AG's News 新闻分类)
The category is [MASK].这种构建思路尽可能还原文本所在的上下文场景，利用标签词本身的语义信息。
完形填空式 Prompt 在微调时具有显著优势：
hidden_size * label_size 的分类头参数。而完形填空的 Token 在原始 Vocab 中，只需调整标签词的预训练表征使其在 Label 上线性可分即可。微调的损失函数是交叉熵。作者没有引入额外参数，而是把 MASK 位置上模型的预估 Logits 在 Label 上归一化来得到分类预测。 例如 AG 新闻分类任务，先得到 MASK 位置 worlds, sports, business, science 这四个词的预测 Logits，然后归一化得到预估概率，再和分类标签计算交叉熵。
为避免灾难性遗忘，作者在下游任务微调时加入了预训练的 MLM 任务，损失函数为两者之和。
这是一个半监督方案。针对每个任务对应的多个 Prompt 模板，分别固定 Prompt 微调 LM 得到一版模型，然后在大量未标注样本上进行预测，对多个模型的预测值进行加权得到伪标签。最终在伪标签上使用常规微调方案（加 Classifier Head），训练模型作为输出。这一步类比知识蒸馏。PET 最后输出的还是常规的监督微调模型，Prompt 仅被当作一种半监督方案。效果上在小样本设定下比直接使用监督微调有一定提升。
尽管 PET 表现优异，但仍存在一些问题：
以下是基于 HuggingFace Transformers 构建 T5 和 PET 风格 Prompt 的 Python 伪代码示例：
# T5 风格：文本转文本
def format_t5_prompt(task_type, input_text):
prefixes = {
"translation": "translate English to German",
"summarization": "summarize",
"qa": "question"
}
prefix = prefixes.get(task_type, "generate")
return f"{prefix}: {input_text}"
# PET 风格：完形填空分类
def format_pet_prompt(input_text, mask_token="[MASK]"):
# 假设标签为 'good' 或 'bad'
template = f"This review is {mask_token}."
return template.replace(mask_token, input_text)
T5 和 PET 代表了 Prompt Tuning 发展的两个重要阶段。T5 确立了 Text-to-Text 的统一范式，证明了所有任务皆可生成；PET 则探索了如何利用完形填空进行少样本分类，并通过半监督蒸馏解决了稳定性问题。虽然它们存在模板构建依赖人工、标签空间受限等不足，但其思想深刻影响了后续如 GPT-3、InstructGPT 等模型的发展。在实际应用中，理解这些基础原理有助于更好地设计高效的 Prompt 策略。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online