Kubernetes AI 推理服务部署与优化实战

TensorFlow Serving 部署流程

模型准备

在启动服务前，需要准备好模型文件并挂载到持久化存储。这里以 MNIST 为例，下载模型后创建 PVC。

mkdir -p models/mnist/1
wget -O models/mnist/1/saved_model.pb https://storage.googleapis.com/download.tensorflow.org/models/official/20181001_resnet/savedmodels/resnet_v2_fp32_savedmodel_NHWC_jpg.tar.gz

kubectl create -f - <<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: model-pvc
  namespace: default
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
EOF

服务发布

编写 Deployment 和 Service 配置文件，将模型加载到容器中并通过 LoadBalancer 暴露端口。

deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tf-serving
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      app: tf-serving
  template:
    metadata:
      labels:
        app: tf-serving
    spec:
      containers:
      - name: tf-serving
        image: tensorflow/serving:latest
        ports:
        - containerPort: 8500
        - containerPort: 8501
        env:
        - name: MODEL_NAME
          value: mnist
        volumeMounts:
        - name: model-volume
          mountPath: /models
      volumes:
      - name: model-volume
        persistentVolumeClaim:
          claimName: model-pvc

service.yaml

apiVersion: v1
kind: Service
metadata:
  name: tf-serving
  namespace: default
spec:
  selector:
    app: tf-serving
  ports:
  - port: 8501
    targetPort: 8501
  type: LoadBalancer

应用配置后，可以通过 curl 命令测试推理接口：

MODEL_SERVICE=$(kubectl get svc tf-serving -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
curl -d '{"instances": [[[0.0 for _ in range(28)] for _ in range(28)]]}' \
     -X POST http://$MODEL_SERVICE:8501/v1/models/mnist:predict

Triton Inference Server 部署

NVIDIA Triton 支持多框架混合部署，适合复杂的生产环境。

deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: triton-server
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      app: triton-server
  template:
    metadata:
      labels:
        app: triton-server
    spec:
      containers:
      - name: triton-server
        image: nvcr.io/nvidia/tritonserver:23.08-py3
        ports:
        - containerPort: 8000
        - containerPort: 8001
        - containerPort: 8002
        resources:
          limits:
            nvidia.com/gpu: 1
          requests:
            nvidia.com/gpu: 1
        volumeMounts:
        - name: model-volume
          mountPath: /models
      volumes:
      - name: model-volume
        persistentVolumeClaim:
          claimName: model-pvc

service.yaml

apiVersion: v1
kind: Service
metadata:
  name: triton-server
  namespace: default
spec:
  selector:
    app: triton-server
  ports:
  - port: 8000
    targetPort: 8000
  - port: 8001
    targetPort: 8001
  - port: 8002
    targetPort: 8002
  type: LoadBalancer

部署完成后，使用 kubectl get pods -l app=triton-server 检查状态。

性能优化实践

模型层优化

在生产环境中，模型本身的形态直接影响延迟。建议尝试以下手段：

1. 量化：将 FP32 转为 INT8 或 FP16，显著降低显存占用。
2. 剪枝：移除冗余神经元。
3. 蒸馏：用大模型指导小模型训练。

服务层配置

开启批处理（Batching）能大幅提升吞吐量。在环境变量中设置 BATCH_SIZE 和 TF_FORCE_GPU_ALLOW_GROWTH。

env:
- name: TF_FORCE_GPU_ALLOW_GROWTH
  value: "true"
- name: BATCH_SIZE
  value: "32"

自动扩缩容

利用 HPA 根据 CPU 和内存负载自动调整副本数，应对流量波峰。

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: tf-serving-hpa
  namespace: default
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: tf-serving
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70
  - type: Resource
    resource:
      name: memory
      target:
        type: Utilization
        averageUtilization: 80

监控与可观测性

指标采集

通过 Prometheus ServiceMonitor 抓取服务指标，便于后续在 Grafana 中展示。

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: tf-serving-monitor
  namespace: monitoring
spec:
  selector:
    matchLabels:
      app: tf-serving
  endpoints:
  - port: 8501
    path: /v1/monitoring/prometheus
    interval: 15s

日志管理

调整环境变量控制日志级别，例如设置 TF_CPP_MIN_LOG_LEVEL 过滤冗余信息，同时启用 GPU 垃圾回收以提升稳定性。

安全最佳实践

访问控制

实施 RBAC 限制模型访问权限，并对模型文件进行加密存储。版本管理同样重要，需追踪每次变更。

网络隔离

使用 NetworkPolicy 限制 Pod 间的通信，仅允许 API Gateway 访问推理服务端口。

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: ai-inference-network-policy
  namespace: default
spec:
  podSelector:
    matchLabels:
      app: tf-serving
  policyTypes:
  - Ingress
  - Egress
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: api-gateway
    ports:
    - protocol: TCP
      port: 8501

实际应用场景

多模型部署

Triton 支持在同一实例中加载多个模型，只需在 PVC 中组织好目录结构即可，节省资源开销。

A/B 测试

利用 Ingress 的 Canary 特性，可以平滑地将部分流量导向新版本模型，验证效果后再全量切换。

annotations:
  nginx.ingress.kubernetes.io/canary: "true"
  nginx.ingress.kubernetes.io/canary-weight: "20"

故障排查

遇到问题时，首先查看 GPU 使用情况 nvidia-smi，然后检查 Pod 日志。如果推理失败，确认模型路径和格式是否正确。

kubectl exec -it <pod-name> -- nvidia-smi
kubectl logs -l app=tf-serving

总结

Kubernetes 为 AI 推理提供了弹性伸缩和统一管理的基石。通过合理配置 GPU 资源、选择合适的推理框架、实施性能优化及安全策略，可以构建出既高效又可靠的在线服务系统。关键在于持续监控并根据业务负载动态调整资源配置。