在 Python 生态中引入开源 AI 模型并构建生产级应用，往往涉及从环境配置到模型部署的完整链路。本文以 Hugging Face Transformers 库中的 BERT 模型为例，梳理一套可落地的工程实践方案，涵盖数据预处理、微调训练、性能评估及 API 服务封装。
环境配置与项目初始化
开发前需确保系统满足基础要求：Python 3.8+，若使用 GPU 加速则需安装对应版本的 CUDA 驱动。建议创建独立虚拟环境以避免依赖冲突。
# 创建并激活虚拟环境
python -m venv venv
source venv/bin/activate # Linux/Mac
# venv\Scripts\activate # Windows
依赖管理推荐使用 requirements.txt，核心库包括 PyTorch、Transformers、Datasets 以及用于实验跟踪的 WandB。安装时注意区分 CPU 和 GPU 版本的 PyTorch。
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
项目结构应清晰分层，便于维护。典型的目录布局如下：
openai-introduction/
├── src/
│ ├── data/ # 数据处理
│ ├── models/ # 模型定义
│ ├── training/ # 训练逻辑
│ └── api/ # 服务接口
├── tests/ # 单元测试
├── configs/ # 配置文件
└── scripts/ # 执行脚本
模型原理与架构解析
BERT（Bidirectional Encoder Representations from Transformers）基于 Transformer 编码器架构，通过双向上下文理解提升语言表示能力。其核心创新在于 Masked Language Model（MLM）和 Next Sentence Prediction（NSP）任务。
多头注意力机制是 Transformer 的关键组件，它允许模型同时关注输入序列的不同位置信息。以下是一个简化的实现示例，展示了如何计算注意力分数并应用权重：
import math
from typing import Optional, Tuple
import torch
import torch.nn as nn
import torch.nn.functional as F
class MultiHeadAttention(nn.Module):
"""多头注意力机制实现"""
def __init__(self, embed_dim: , num_heads: , dropout: = ):
().__init__()
embed_dim % num_heads ==
.embed_dim = embed_dim
.num_heads = num_heads
.head_dim = embed_dim // num_heads
.q_proj = nn.Linear(embed_dim, embed_dim)
.k_proj = nn.Linear(embed_dim, embed_dim)
.v_proj = nn.Linear(embed_dim, embed_dim)
.out_proj = nn.Linear(embed_dim, embed_dim)
.dropout = nn.Dropout(dropout)
.scaling = .head_dim ** -
() -> [torch.Tensor, torch.Tensor]:
batch_size = query.size()
q = .q_proj(query).view(batch_size, -, .num_heads, .head_dim).transpose(, )
k = .k_proj(key).view(batch_size, -, .num_heads, .head_dim).transpose(, )
v = .v_proj(value).view(batch_size, -, .num_heads, .head_dim).transpose(, )
attn_scores = torch.matmul(q, k.transpose(-, -)) * .scaling
attention_mask :
attn_scores = attn_scores.masked_fill(attention_mask == , -)
attn_probs = F.softmax(attn_scores, dim=-)
attn_probs = .dropout(attn_probs)
attn_output = torch.matmul(attn_probs, v)
attn_output = attn_output.transpose(, ).contiguous().view(
batch_size, -, .embed_dim
)
attn_output = .out_proj(attn_output)
attn_output, attn_probs
