Transformers 库模型推理与微调实战教程

优化下载速度

如果无法直接连接 HuggingFace，可以提前下载模型到本地，并在 from_pretrained 中指定路径。也可以配置环境变量使用国内镜像地址。

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id="Qwen/Qwen1.5-0.5B-Chat",
    local_dir="./models/Qwen1.5-0.5B-Chat",
    max_workers=8,
    endpoint="https://hf-mirror.com"
)

使用 Pipeline 进行推理

HuggingFace 的 Pipeline 是一种高级工具，封装了常用 NLP 任务的流程，无需深入了解模型细节即可快速上手。

1. 文本生成 Pipeline

from transformers import pipeline

# 初始化生成器
generator = pipeline(model="openai-community/gpt2")

# 单句生成
generator("I can't believe you did such a ", do_sample=False)

# 多序列生成
outputs = generator("My tart needs some", num_return_sequences=4, return_full_text=False)

参数说明：

• do_sample=True：采用采样策略，增加多样性但可能不稳定。
• do_sample=False：贪婪解码，选择概率最高的词，结果更连贯。

2. 情感分类 Pipeline

from transformers import pipeline

classifier = pipeline(model="distilbert/distilbert-base-uncased-finetuned-sst-2-english")
result = classifier("This movie is disgustingly good !")
print(result)  # [{'label': 'POSITIVE', 'score': 0.99...}]

3. 图像描述 Pipeline

captioner = pipeline(model="ydshieh/vit-gpt2-coco-en", task="image-to-text", device=0)
result = captioner("https://example.com/image.jpg")
print(result)

模型微调

Transformers 支持在特定数据集上对预训练模型进行微调（Fine-tuning），以适应特定任务。推荐使用 Trainer API 简化训练流程。

第一步：准备数据集

以 Yelp 评论数据为例，适用于文本分类任务。

from datasets import load_dataset

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
dataset = load_dataset("yelp_review_full")
print(dataset["train"][0])

第二步：数据集预处理

使用分词器处理文本，统一长度并进行填充或截断。

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")

def tokenize_function(examples):
    return tokenizer(
        examples["text"],
        padding="max_length",
        truncation=True,
        max_length=128
    )

tokenized_datasets = dataset.map(tokenize_function, batched=True)

# 可选：缩小数据集用于调试
small_train = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

第三步：配置训练参数

加载模型并指定标签数量，配置 TrainingArguments。

from transformers import AutoModelForSequenceClassification, TrainingArguments

model = AutoModelForSequenceClassification.from_pretrained(
    "google-bert/bert-base-cased",
    num_labels=5  # Yelp 数据集有 5 个类别
)

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    per_device_train_batch_size=8,
    learning_rate=2e-5,
    num_train_epochs=3,
    weight_decay=0.01,
    logging_steps=10,
    load_best_model_at_end=True,
    metric_for_best_model="accuracy"
)

第四步：设置评估函数

计算准确率等指标。

import numpy as np
import evaluate

metric = evaluate.load("accuracy")

def compute_metrics(eval_pred):
    logits, labels = eval_pred
    predictions = np.argmax(logits, axis=-1)
    return metric.compute(predictions=predictions, references=labels)

第五步：开始训练

from transformers import Trainer

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train,
    eval_dataset=small_eval,
    compute_metrics=compute_metrics,
)

trainer.train()
trainer.save_model("./fine_tuned_model")

常见问题与优化建议

1. 显存不足：

   • 使用 device_map="auto" 自动分配。
   • 开启混合精度训练 (fp16=True)。
   • 减小 batch_size。

2. 网络超时：

   • 配置 HF_ENDPOINT 使用镜像站。
   • 提前下载模型至本地目录。

3. 推理延迟：

   • 使用 torch.compile 加速（PyTorch 2.0+）。
   • 量化模型（如 INT8）以减少显存占用。

4. 保存模型：

   • 微调完成后，使用 trainer.save_model() 保存最佳权重。
   • 后续推理时可直接加载本地路径。

总结

Transformers 库极大地降低了大模型的应用门槛。通过 AutoModel 可实现灵活的推理控制，Pipeline 适合快速原型验证，而 Trainer 则提供了标准化的微调方案。开发者可根据实际需求选择合适的工具链，结合数据预处理与参数调优，高效完成 NLP 任务落地。

在实际项目中，建议关注模型版本兼容性，定期更新依赖库以获取性能优化和安全补丁。对于生产环境，还需考虑模型部署服务化（如 ONNX Runtime, TensorRT）以提升并发处理能力。