基于 DeepFace 和 OpenCV 的情绪分析器实现

2. 软件库与依赖

• OpenCV (cv2)：开源计算机视觉库，提供图像处理算法，用于捕获视频流、处理图像及绘制标注。
• time：Python 标准库，用于计算时间间隔以计算 FPS。
• numpy (np)：科学计算基础库，通常与 OpenCV 配合使用。
• DeepFace：深度学习库，专门用于面部识别及年龄、性别、情绪等属性预测。

3. 功能模块

• 视频捕捉与处理模块：使用 cv2.VideoCapture(0) 打开摄像头并循环读取帧。
• FPS 计算模块：利用 time.time() 获取时间戳，计算瞬时 FPS 并采用滑动平均平滑。
• 情绪分析模块：调用 DeepFace.analyze() 对每一帧人脸进行情绪分析。
• 结果显示模块：使用 OpenCV 绘图函数标记人脸位置、显示情绪信息及置信度。
• 用户交互模块：监听键盘输入，允许用户按下 q 键退出程序。

代码详解（实现思路）

程序通过摄像头捕捉实时视频流，使用深度学习模型对每一帧进行情绪分析，并在视频上标记出检测到的情绪和置信度，同时显示当前 FPS。

导入必要的库

import cv2
import time
import numpy as np
from deepface import DeepFace

• cv2：OpenCV 库，处理图像和视频流。
• time：计算时间间隔，进而计算 FPS。
• numpy：图像处理基础库。
• DeepFace：基于深度学习的面部识别和分析库。

打开摄像头并初始化变量

cap = cv2.VideoCapture(0)
prev_time = time.time()
fps = 0
alpha = 0.9

• cv2.VideoCapture(0)：打开默认摄像头。
• prev_time 和 fps：用于计算 FPS 的变量。
• alpha：用于滑动平均计算 FPS 的权重值。

主循环

while True:
    ret, frame = cap.read()
    if not ret:
        break
    # ... 处理逻辑 ...
    cap.release()
    cv2.destroyAllWindows()

• 无限循环不断从摄像头读取帧。如果读取失败则退出循环。

FPS 计算

current_time = time.time()
delta_time = current_time - prev_time
prev_time = current_time
if delta_time > 0:
    instant_fps = 1.0 / delta_time
    fps = alpha * fps + (1 - alpha) * instant_fps

• 计算自上次迭代以来经过的时间，计算瞬时 FPS。
• 使用滑动平均更新总体 FPS。

情绪分析及结果展示

result = DeepFace.analyze(frame, actions=['emotion'], enforce_detection=False)
for face in result:
    x, y, w, h = face['region']['x'], face['region']['y'], face['region']['w'], face['region']['h']
    emotion = face['dominant_emotion']
    confidence = face['emotion'][emotion]
    cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
    text = f'{emotion} ({confidence:.2f}%)'
    cv2.putText(frame, text, (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2)

• 调用 DeepFace.analyze() 进行情绪分析。
• 遍历结果，在画面上标出人脸位置和识别出的情绪信息。

显示 FPS 和图像

cv2.putText(frame, f'FPS: {fps:.2f}', (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2)
cv2.imshow("Emotion Detection", frame)

• 在图像上显示当前的 FPS。
• 使用 cv2.imshow() 显示带有标注的图像。

退出条件

if cv2.waitKey(1) & 0xFF == ord('q'):
    break

• 如果按下键盘上的 q 键，则退出循环结束程序。

最后，释放摄像头资源并关闭所有窗口。

完整代码

import cv2
import time
import numpy as np
from deepface import DeepFace

# 打开摄像头
cap = cv2.VideoCapture(0)

# FPS 计算参数
prev_time = time.time()
fps = 0
alpha = 0.9  # 滑动平均权重，数值越大，FPS 越平稳

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # 计算 FPS
    current_time = time.time()
    delta_time = current_time - prev_time
    prev_time = current_time
    if delta_time > 0:
        instant_fps = 1.0 / delta_time
        fps = alpha * fps + (1 - alpha) * instant_fps

    # 计算滑动平均 FPS
    try:
        # 进行表情识别
        result = DeepFace.analyze(frame, actions=['emotion'], enforce_detection=False)
        for face in result:
            x, y, w, h = face['region']['x'], face['region']['y'], face['region']['w'], face['region']['h']
            emotion = face['dominant_emotion']
            confidence = face['emotion'][emotion]  # 获取表情的置信度
            
            # 绘制人脸矩形框
            cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
            
            # 在人脸上方显示情绪信息
            text = f'{emotion} ({confidence:.2f}%)'
            cv2.putText(frame, text, (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2)
    except Exception as e:
        print("无法检测到人脸:", e)

    # 显示 FPS（平滑更新）
    cv2.putText(frame, f'FPS: {fps:.2f}', (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2)
    
    # 显示图像
    cv2.imshow("Emotion Detection", frame)
    
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

总结

核心在于结合了 OpenCV 进行视频处理和 DeepFace 进行面部情绪分析的能力。通过这些组件，实现从摄像头实时捕捉视频、分析视频中人物的情绪状态并在视频画面上直观地展示分析结果的功能。

这不仅展示了如何利用现有的 AI 库快速构建实用的应用程序，也为进一步开发基于情感识别的复杂系统提供了基础框架。