ESP32-CAM 实时视频流传输与查看方案

程序烧录

通过配套下载器进行下载

使用配套的下载器连接 ESP32-CAM，点击左上角的编译验证按钮进行编译，编译成功后点击旁边的上传按钮烧录到 ESP32-CAM 开发板中。

![编译与上传]

将下载器与 ESP32-CAM 安装到一起，使用数据线连接到电脑，安装商家提供的驱动，之后在 工具选项中选择对应的 开发板与串口。

![串口选择]

通过 USB 转 TTL(CH340) 下载器进行下载

USB 转 TTL 下载器仅仅是连接线上与配套送的下载器不同，其他下载步骤是一样的。

USB 转 TTL 下载器与 ESP32-CAM 的连接线如下：

• USB 转 TTL VCC 接 ESP32-CAM 5V
• USB 转 TTL GND 接 ESP32-CAM GND
• USB 转 TTL RXD 接 ESP32-CAM TXD
• USB 转 TTL TXD 接 ESP32-CAM RXD
• 下载时，需要将 GPIO1 接到 GND 上，用来启动下载模式。

![USB 转 TTL 接线图]

外网视频实时查看

外网视频实时查看分为两部分：

• ESP32-CAM 开发板中运行的程序；
• 服务器中运行的程序。

通过 ESP32-CAM 将视频数据发送到服务器中，服务器运行接收程序进行接收并展示，这样的好处是可以发送到外部公网服务器中。

ESP32-CAM 程序

#include <Arduino.h>
#include <WiFi.h>
#include "esp_camera.h"
#include <vector>

const char* ssid = "TP-LINK_1760";
const char* password = "987654321";
const IPAddress serverIP(192, 168, 1, 104); // 欲访问的地址，即服务器的 ip，可内网也可公网
uint16_t serverPort = 18080; // 服务器端口号

#define maxcache 1430
WiFiClient client; // 声明一个客户端对象，用于与服务器进行连接

// CAMERA_MODEL_AI_THINKER 类型摄像头的引脚定义
#define PWDN_GPIO_NUM 32
#define RESET_GPIO_NUM -1
#define XCLK_GPIO_NUM 0
#define SIOD_GPIO_NUM 26
#define SIOC_GPIO_NUM 27
#define Y9_GPIO_NUM 35
#define Y8_GPIO_NUM 34
#define Y7_GPIO_NUM 39
#define Y6_GPIO_NUM 36
#define Y5_GPIO_NUM 21
#define Y4_GPIO_NUM 19
#define Y3_GPIO_NUM 18
#define Y2_GPIO_NUM 5
#define VSYNC_GPIO_NUM 25
#define HREF_GPIO_NUM 23
#define PCLK_GPIO_NUM 22

static camera_config_t camera_config = {
  .pin_pwdn = PWDN_GPIO_NUM,
  .pin_reset = RESET_GPIO_NUM,
  .pin_xclk = XCLK_GPIO_NUM,
  .pin_sscb_sda = SIOD_GPIO_NUM,
  .pin_sscb_scl = SIOC_GPIO_NUM,
  .pin_d7 = Y9_GPIO_NUM,
  .pin_d6 = Y8_GPIO_NUM,
  .pin_d5 = Y7_GPIO_NUM,
  .pin_d4 = Y6_GPIO_NUM,
  .pin_d3 = Y5_GPIO_NUM,
  .pin_d2 = Y4_GPIO_NUM,
  .pin_d1 = Y3_GPIO_NUM,
  .pin_d0 = Y2_GPIO_NUM,
  .pin_vsync = VSYNC_GPIO_NUM,
  .pin_href = HREF_GPIO_NUM,
  .pin_pclk = PCLK_GPIO_NUM,
  .xclk_freq_hz = 20000000,
  .ledc_timer = LEDC_TIMER_0,
  .ledc_channel = LEDC_CHANNEL_0,
  .pixel_format = PIXFORMAT_JPEG,
  .frame_size = FRAMESIZE_QVGA,
  .jpeg_quality = 24, // 图像质量（jpeg_quality) 可以是 0 到 63 之间的数字。数字越小意味着质量越高。
  .fb_count = 1,
};

void wifi_init() {
  WiFi.mode(WIFI_STA);
  WiFi.setSleep(false); // 关闭 STA 模式下 wifi 休眠，提高响应速度
  WiFi.begin(ssid, password);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("WiFi Connected!");
  Serial.print("IP Address:");
  Serial.println(WiFi.localIP());
}

esp_err_t camera_init() {
  // initialize the camera
  esp_err_t err = esp_camera_init(&camera_config);
  if (err != ESP_OK) {
    Serial.println("Camera Init Failed");
    return err;
  }
  sensor_t * s = esp_camera_sensor_get();
  // initial sensors are flipped vertically and colors are a bit saturated
  if (s->id.PID == OV2640_PID) {
    // s->set_vflip(s, 1); // flip it back
    // s->set_brightness(s, 1); // up the blightness just a bit
    // s->set_contrast(s, 1);
  }
  Serial.println("Camera Init OK!");
  return ESP_OK;
}

void setup() {
  Serial.begin(115200);
  wifi_init();
  camera_init();
}

void loop() {
  Serial.println("Try To Connect TCP Server!");
  if (client.connect(serverIP, serverPort)) { // 尝试访问目标地址
    Serial.println("Connect Tcp Server Success!");
    // 向服务器发送数据
    while (1) {
      camera_fb_t * fb = esp_camera_fb_get();
      uint8_t* temp = fb->buf; // 这个是为了保存一个地址，在摄像头数据发送完毕后需要返回，否则会出现板子发送一段时间后自动重启，不断重复
      if (!fb) {
        Serial.println("Camera Capture Failed");
      } else {
        // 先发送 Frame Begin 表示开始发送图片 然后将图片数据分包发送 每次发送 1430 余数最后发送
        // 完毕后发送结束标志 Frame Over 表示一张图片发送完毕
        client.print("Frame Begin"); // 一张图片的起始标志
        // 将图片数据分段发送
        int leng = fb->len;
        int timess = leng / maxcache;
        int extra = leng % maxcache;
        for (int j = 0; j < timess; j++) {
          client.write(fb->buf, maxcache);
          for (int i = 0; i < maxcache; i++) {
            fb->buf++;
          }
        }
        client.write(fb->buf, extra);
        client.print("Frame Over"); // 一张图片的结束标志
        Serial.print("This Frame Length:");
        Serial.print(fb->len);
        Serial.println(".Succes To Send Image For TCP!");
        // return the frame buffer back to the driver for reuse
        fb->buf = temp; // 将当时保存的指针重新返还
        esp_camera_fb_return(fb); // 这一步在发送完毕后要执行
      }
      delay(20); // 短暂延时 增加数据传输可靠性
    }
  } else {
    Serial.println("Connect To Tcp Server Failed! After 10 Seconds Try Again!");
    client.stop(); // 关闭客户端
  }
  delay(10000);
}

服务器程序 (Python)

import socket
import threading
import time
import numpy as np
import cv2

begin_data = b'Frame Begin'
end_data = b'Frame Over'

# 接收数据
# ESP32 发送一张照片的流程
# 先发送 Frame Begin 表示开始发送图片 然后将图片数据分包发送 每次发送 1430 余数最后发送
# 完毕后发送结束标志 Frame Over 表示一张图片发送完毕
# 1430 来自 ESP32cam 发送的一个包大小为 1430 接收到数据 data 格式为 b''

def handle_sock(sock, addr):
    temp_data = b''
    t1 = int(round(time.time() * 1000))
    while True:
        data = sock.recv(1430) # 如果这一帧数据包的开头是 b'Frame Begin' 则是一张图片的开始
        if data[0:len(begin_data)] == begin_data:
            # 将这一帧数据包的开始标志信息（b'Frame Begin'）清除 因为他不属于图片数据
            data = data[len(begin_data):len(data)]
            # 判断这一帧数据流是不是最后一个帧 最后一针数据的结尾时 b'Frame Over'
            while data[-len(end_data):] != end_data:
                temp_data = temp_data + data # 不是结束的包 讲数据添加进 temp_data
                data = sock.recv(1430) # 继续接受数据 直到接受的数据包包含 b'Frame Over' 表示是这张图片的最后一针
            # 判断为最后一个包 将数据去除 结束标志信息 b'Frame Over'
            temp_data = temp_data + data[0:(len(data)-len(end_data))] # 将多余的（\r\nFrame Over）去掉 其他放入 temp_data
            # 显示图片
            receive_data = np.frombuffer(temp_data, dtype='uint8') # 将获取到的字符流数据转换成 1 维数组
            r_img = cv2.imdecode(receive_data, cv2.IMREAD_COLOR) # 将数组解码成图像
            t2 = int(round(time.time() * 1000))
            fps = 1000 // (t2 - t1)
            cv2.putText(r_img, "FPS" + str(fps), (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2)
            cv2.imshow('server_frame', r_img)
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break
            t1 = t2
            print("接收到的数据包大小：" + str(len(temp_data))) # 显示该张照片数据大小
            temp_data = b'' # 清空数据 便于下一章照片使用

server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 这里的 ip 与端口是运行该程序的服务器的 ip 与端口，需要与 arduino 中的一致
server.bind(('192.168.1.104', 18080))
server.listen(5)
CONNECTION_LIST = [] # 主线程循环接收客户端连接
while True:
    sock, addr = server.accept()
    CONNECTION_LIST.append(sock)
    print('Connect--{}'.format(addr)) # 连接成功后开一个线程用于处理客户端
    client_thread = threading.Thread(target=handle_sock, args=(sock, addr))
    client_thread.start()