Kubernetes与边缘AI最佳实践

优质文章学习记录

— 7 min read

Kubernetes与边缘AI最佳实践

1. 边缘AI核心概念

1.1 什么是边缘AI

边缘AI是指在边缘设备上运行AI模型，而不是在云端数据中心。边缘AI可以减少延迟、节省带宽、保护隐私，并在网络连接不稳定时保持服务可用性。

1.2 边缘AI的优势

  • 低延迟：数据不需要传输到云端，响应时间更短
  • 带宽节省：减少数据传输，降低网络成本
  • 隐私保护：敏感数据在本地处理，不离开设备
  • 离线运行：在网络连接中断时仍能正常工作
  • 分布式计算：充分利用边缘设备的计算资源

2. 边缘Kubernetes集群搭建

2.1 边缘节点配置

边缘节点要求

  • 硬件：至少2GB RAM，2核CPU，10GB存储空间
  • 网络：稳定的网络连接
  • 操作系统：支持Docker的Linux发行版

安装Docker和kubeadm

# 安装Docker apt-get update apt-get install -y docker.io # 安装kubeadm、kubelet和kubectl apt-get update && apt-get install -y apt-transport-https curl curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | tee /etc/apt/sources.list.d/kubernetes.list apt-get update apt-get install -y kubelet kubeadm kubectl

2.2 搭建边缘Kubernetes集群

初始化主节点

# 初始化主节点 kubeadm init --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=<主节点IP> # 配置kubectl mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config # 安装网络插件 kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

添加边缘节点

# 在边缘节点上执行 kubeadm join <主节点IP>:6443 --token <token> --discovery-token-ca-cert-hash <hash>

3. 边缘AI应用部署

3.1 模型准备

# 下载并优化模型 mkdir -p models/yolo/1 wget -O models/yolo/1/model.onnx https://github.com/onnx/models/raw/main/vision/object_detection_segmentation/yolov4/model/yolov4.onnx # 创建模型存储 kubectl create -f - <<EOF apiVersion: v1 kind: PersistentVolumeClaim metadata: name: model-pvc namespace: default spec: accessModes: - ReadWriteOnce resources: requests: storage: 5Gi EOF

3.2 部署边缘AI服务

deployment.yaml

apiVersion: apps/v1 kind: Deployment metadata: name: edge-ai-service namespace: default spec: replicas: 1 selector: matchLabels: app: edge-ai-service template: metadata: labels: app: edge-ai-service spec: nodeSelector: node-role.kubernetes.io/edge: "true" containers: - name: edge-ai-service image: edge-ai-service:latest ports: - containerPort: 8080 resources: limits: cpu: 1 memory: 1Gi requests: cpu: 500m memory: 512Mi volumeMounts: - name: model-volume mountPath: /models volumes: - name: model-volume persistentVolumeClaim: claimName: model-pvc

service.yaml

apiVersion: v1 kind: Service metadata: name: edge-ai-service namespace: default spec: selector: app: edge-ai-service ports: - port: 8080 targetPort: 8080 type: NodePort 
# 部署服务 kubectl apply -f deployment.yaml kubectl apply -f service.yaml # 测试服务 NODE_PORT=$(kubectl get svc edge-ai-service -o jsonpath='{.spec.ports[0].nodePort}') EDGE_NODE_IP=$(kubectl get nodes -l node-role.kubernetes.io/edge=true -o jsonpath='{.items[0].status.addresses[0].address}') curl -X POST http://$EDGE_NODE_IP:$NODE_PORT/predict -H "Content-Type: application/json" -d '{"image": "base64_encoded_image"}'

4. 边缘节点管理

4.1 节点标签和污点

# 为边缘节点添加标签 kubectl label nodes <edge-node> node-role.kubernetes.io/edge=true # 为边缘节点添加污点 kubectl taint nodes <edge-node> node-role.kubernetes.io/edge:NoSchedule # 为应用添加容忍度 kubectl patch deployment edge-ai-service -p '{"spec":{"template":{"spec":{"tolerations":[{"key":"node-role.kubernetes.io/edge","operator":"Exists","effect":"NoSchedule"}]}}}'

4.2 资源管理

资源配额

apiVersion: v1 kind: ResourceQuota metadata: name: edge-node-quota namespace: default spec: hard: requests.cpu: "2" requests.memory: "4Gi" limits.cpu: "4" limits.memory: "8Gi" pods: "10"

5. 网络配置

5.1 边缘网络优化

配置CNI插件

# 安装Calico CNI插件 kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml # 配置网络策略 apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: edge-ai-network-policy namespace: default spec: podSelector: matchLabels: app: edge-ai-service policyTypes: - Ingress - Egress ingress: - from: - podSelector: matchLabels: app: edge-gateway ports: - protocol: TCP port: 8080 egress: - to: - podSelector: matchLabels: app: edge-storage ports: - protocol: TCP port: 9000

5.2 边缘与云端通信

配置边缘网关

apiVersion: apps/v1 kind: Deployment metadata: name: edge-gateway namespace: default spec: replicas: 1 selector: matchLabels: app: edge-gateway template: metadata: labels: app: edge-gateway spec: nodeSelector: node-role.kubernetes.io/edge: "true" containers: - name: edge-gateway image: nginx:latest ports: - containerPort: 80 volumeMounts: - name: nginx-config mountPath: /etc/nginx/nginx.conf subPath: nginx.conf volumes: - name: nginx-config configMap: name: edge-gateway-config

configmap.yaml

apiVersion: v1 kind: ConfigMap metadata: name: edge-gateway-config namespace: default data: nginx.conf: | events {} http { server { listen 80; location / { proxy_pass http://edge-ai-service:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } } }

6. 存储配置

6.1 边缘存储管理

配置本地存储

apiVersion: v1 kind: PersistentVolume metadata: name: edge-local-storage namespace: default spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain local: path: /mnt/edge-storage nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: node-role.kubernetes.io/edge operator: In values: - "true"

PersistentVolumeClaim

apiVersion: v1 kind: PersistentVolumeClaim metadata: name: edge-local-pvc namespace: default spec: accessModes: - ReadWriteOnce resources: requests: storage: 5Gi storageClassName: "" selector: matchLabels: type: local

7. 监控与可观测性

7.1 边缘节点监控

部署Prometheus和Grafana

# 安装Prometheus Operator helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm install prometheus prometheus-community/kube-prometheus-stack -n monitoring --create-namespace # 配置边缘节点监控 kubectl apply -f - <<EOF apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: edge-ai-service-monitor namespace: monitoring spec: selector: matchLabels: app: edge-ai-service endpoints: - port: 8080 path: /metrics interval: 15s EOF

7.2 日志管理

配置Fluentd

apiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd namespace: kube-system labels: k8s-app: fluentd-logging spec: selector: matchLabels: k8s-app: fluentd-logging template: metadata: labels: k8s-app: fluentd-logging spec: containers: - name: fluentd image: fluent/fluentd-kubernetes-daemonset:v1.14.6 env: - name: FLUENTD_ARGS value: --no-supervisor -q volumeMounts: - name: varlog mountPath: /var/log - name: varlibdockercontainers mountPath: /var/lib/docker/containers readOnly: true volumes: - name: varlog hostPath: path: /var/log - name: varlibdockercontainers hostPath: path: /var/lib/docker/containers

8. 安全最佳实践

8.1 边缘节点安全

  1. 最小权限原则：为边缘节点设置最小必要权限
  2. 网络隔离：使用网络策略限制边缘节点访问
  3. 加密通信：启用TLS加密保护边缘与云端通信
  4. 定期更新：及时更新边缘节点的软件和固件

RBAC配置

apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: edge-ai-role namespace: default rules: - apiGroups: [""] resources: ["pods", "services"] verbs: ["get", "list", "watch"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: edge-ai-rolebinding namespace: default subjects: - kind: ServiceAccount name: edge-ai-service-account namespace: default roleRef: kind: Role name: edge-ai-role apiGroup: rbac.authorization.k8s.io

8.2 模型安全

  1. 模型加密：使用加密技术保护模型文件
  2. 访问控制：限制模型的访问权限
  3. 模型版本管理：追踪模型版本和变更
  4. 模型审计：记录模型的使用情况

9. 实际应用场景

9.1 智能视频分析

部署视频分析服务

apiVersion: apps/v1 kind: Deployment metadata: name: video-analytics namespace: default spec: replicas: 1 selector: matchLabels: app: video-analytics template: metadata: labels: app: video-analytics spec: nodeSelector: node-role.kubernetes.io/edge: "true" containers: - name: video-analytics image: video-analytics:latest ports: - containerPort: 8080 env: - name: MODEL_PATH value: /models/yolo - name: CAMERA_URL value: rtsp://camera:554/stream volumeMounts: - name: model-volume mountPath: /models volumes: - name: model-volume persistentVolumeClaim: claimName: model-pvc

9.2 智能传感器数据处理

部署传感器数据处理服务

apiVersion: apps/v1 kind: Deployment metadata: name: sensor-processing namespace: default spec: replicas: 1 selector: matchLabels: app: sensor-processing template: metadata: labels: app: sensor-processing spec: nodeSelector: node-role.kubernetes.io/edge: "true" containers: - name: sensor-processing image: sensor-processing:latest ports: - containerPort: 8080 env: - name: SENSOR_ENDPOINT value: http://sensor:8000 - name: MODEL_PATH value: /models/anomaly volumeMounts: - name: model-volume mountPath: /models volumes: - name: model-volume persistentVolumeClaim: claimName: model-pvc

10. 故障排查

10.1 常见问题解决

# 查看边缘节点状态 kubectl get nodes # 查看边缘应用状态 kubectl get pods -l app=edge-ai-service # 查看应用日志 kubectl logs -l app=edge-ai-service # 检查边缘节点资源使用情况 kubectl top node <edge-node> # 检查网络连接 kubectl exec -it <pod-name> -- ping <target-host>

10.2 调试技巧

  1. 启用详细日志：配置应用输出详细日志
  2. 使用kubectl debug：在边缘节点上运行调试容器
  3. 检查资源限制：确保边缘节点有足够的资源
  4. 验证网络连接：确保边缘节点可以正常通信

11. 总结

Kubernetes为边缘AI提供了强大的部署和管理能力。通过合理配置边缘节点、优化网络和存储、实施安全最佳实践，可以构建高性能、可靠的边缘AI系统。

关键要点：

  • 正确配置边缘Kubernetes集群
  • 优化边缘节点资源管理
  • 确保边缘与云端的安全通信
  • 实施完善的监控和可观测性
  • 遵循安全最佳实践

通过以上最佳实践，可以充分发挥边缘AI的优势，构建更加高效、可靠的边缘计算系统。

Read more

GLM-4.6V-Flash-WEB Web界面使用指南，拖图就出结果

GLM-4.6V-Flash-WEB Web界面使用指南，拖图就出结果 你不需要配置环境、不用写一行推理代码、甚至不用打开终端——只要把一张截图拖进浏览器窗口，几秒钟后，它就能告诉你图里写了什么、画了什么、哪里有问题。这不是未来预告，而是你现在就能在本地跑起来的真实体验。 GLM-4.6V-Flash-WEB 是智谱AI最新开源的轻量级视觉语言模型，专为Web端实时交互而生。它不像某些“实验室模型”那样只存在于论文和Benchmark表格里，而是真正做到了：部署快、启动快、响应快、上手更快。一块RTX 3090，一个浏览器，一次拖拽，结果即刻呈现。 本文不讲训练原理，不列参数表格，不堆技术术语。我们只聚焦一件事：怎么用好它的Web界面？从零开始，到稳定产出，每一步都清晰可操作。 1. 为什么说“拖图就出结果”不是宣传话术？ 很多多模态模型标榜“支持图文理解”，但实际用起来才发现：要装依赖、改路径、调精度、修CUDA版本、

前端防范 XSS（跨站脚本攻击）

目录 一、防范措施 1.layui util  核心转义的特殊字符 示例 2.js-xss.js库 安装 1. Node.js 环境（npm/yarn） 2. 浏览器环境 核心 API 基础使用 1. 基础过滤（默认规则） 2. 自定义过滤规则 （1）允许特定标签 （2）允许特定属性 （3）自定义标签处理 （4）自定义属性处理 （5）转义特定字符 常见场景示例 1. 过滤用户输入的评论内容 2. 允许特定富文本标签（如富文本编辑器内容） 注意事项 更多配置 XSS（跨站脚本攻击）是一种常见的网络攻击手段，它允许攻击者将恶意脚本注入到其他用户的浏览器中。
详细教程：如何从前端查看调用接口、传参及返回结果（附带图片案例）

详细教程：如何从前端查看调用接口、传参及返回结果（附带图片案例）

目录 1. 打开浏览器开发者工具 2. 使用 Network 面板 3. 查看具体的API请求 a. Headers b. Payload c. Response d. Preview e. Timing 4. 实际操作步骤 5. 常见问题及解决方法 a. 无法看到API请求 b. 请求失败 c. 跨域问题（CORS） 作为一名后端工程师，理解前端如何调用接口、传递参数以及接收返回值是非常重要的。下面将详细介绍如何通过浏览器开发者工具（F12）查看和分析这些信息，并附带图片案例帮助你更好地理解。 1. 打开浏览器开发者工具 按下 F12 或右键点击页面选择“检查”可以打开浏览器的开发者工具。常用的浏览器如Chrome、Firefox等都内置了开发者工具。下面是我选择我的一篇文章，打开开发者工具进行演示。 2. 使用

Cursor+Codex隐藏技巧：用截图秒修前端Bug的保姆级教程（React/Chakra UI案例）

Cursor+Codex隐藏技巧：用截图秒修前端Bug的保姆级教程（React/Chakra UI案例） 前端开发中最令人头疼的莫过于那些难以定位的UI问题——元素错位、样式冲突、响应式失效...传统调试方式往往需要反复修改代码、刷新页面、检查元素。现在，通过Cursor编辑器集成的Codex功能，你可以直接用截图交互快速定位和修复这些问题。本文将带你从零开始，掌握这套革命性的调试工作流。 1. 环境准备与基础配置 在开始之前，确保你已经具备以下环境： * Cursor编辑器最新版（v2.5+） * Node.js 18.x及以上版本 * React 18项目（本文以Chakra UI 2.x为例） 首先在Cursor中安装Codex插件： 1. 点击左侧扩展图标 2. 搜索"Codex"并安装 3. 登录你的OpenAI账户（需要ChatGPT Plus订阅） 关键配置项： // 在项目根目录创建.