冻结语言模型 Prompt 微调技术：PET(b) 与 LM-BFF 解析

2. Prompt 模板搜索 (Template Search)

固定标签词，使用 T5 模型来生成符合上下文语义的 Prompt 指令。

• 输入构造：Input + MASK + 标签对应标签词 + MASK。
• 生成方式：让 T5 完成对 MASK 部分的填充，通过 Beam-Search 得到多个模板。
• 筛选：在下游任务中微调得到表现最好的一个或多个 Prompt 模板。

[图示说明：T5 辅助生成 Prompt 模板流程]

3. 固定 Prompt 微调 LM (Instruction Tuning)

搜索到最优标签词和模板后，模仿 GPT-3 的 Few-Shot 构建方式：

1. 先把输入填充进 Prompt 模板。
2. 从各个分类中各采样 1 个样本作为指令样本拼接进输入，补充更丰富的上下文。
3. 相似性筛选：为避免指令样本与待预测样本差异过大导致模型忽略，使用 Sentence-Bert 筛选语义相似的样本作为指令样本。

4. 实验结论

在每类采样 16 个样本的小样本场景下，Roberta-Large 的效果显示：

• 自动模板在某些场景优于手工模板，整体可打平，是人工成本的平价替代。
• 加入指令样本对效果有显著提升。
• 在 16 个样本的 Few-Shot 场景下，Prompt 微调效果显著优于常规微调和 GPT-3 Few-Shot 效果。

代码实现思路

以下是一个基于 HuggingFace Transformers 的简化实现示例，展示如何构建 PET 风格的 Prompt 分类器。

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

class PromptClassifier:
    def __init__(self, model_name, label_words):
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.model = AutoModelForSequenceClassification.from_pretrained(
            model_name, num_labels=len(label_words)
        )
        self.label_words = label_words
        self.mask_token_id = self.tokenizer.mask_token_id

    def encode_prompt(self, text, template="This review is {mask}."):
        # 简单的模板填充逻辑
        return template.format(mask=self.tokenizer.decode([self.mask_token_id]))

    def predict(self, texts):
        inputs = self.tokenizer(texts, padding=True, truncation=True, return_tensors="pt")
        with torch.no_grad():
            outputs = self.model(**inputs)
        probs = torch.softmax(outputs.logits, dim=-1)
        return probs.argmax(dim=-1).tolist()

# 使用示例
if __name__ == "__main__":
    classifier = PromptClassifier("bert-base-uncased", ["good", "bad"])
    result = classifier.predict(["I love this product."])
    print(f"Prediction: {result}")

总结

PET-TC(B) 和 LM-BFF 代表了 Prompt 微调技术在少样本场景下的重要演进方向。PET-TC(B) 解决了多 Token 标签的表示问题，而 LM-BFF 则通过自动化搜索模板和标签词，结合指令样本增强了模型的上下文理解能力。这些方法证明了在不更新大模型参数的情况下，通过精心设计的 Prompt 依然可以获得超越传统微调的性能，为资源受限场景下的 NLP 应用提供了有效解决方案。

未来研究可关注更复杂的动态模板生成机制以及跨任务的 Prompt 迁移学习。