基于 MediaPipe Hands 的智能家居隔空操控实战

步骤二：查看识别结果

系统会自动返回一张标注了 21 个白点 + 彩虹连线 的图像：

• 白点：代表检测到的关键点
• 彩线：按手指分组绘制，不同颜色对应不同手指

通过观察骨骼形态，可以轻松判断当前手势类型。

3. 核心代码解析：如何实现手势识别与控制映射

虽然可以直接调用库，但要真正实现'隔空操控'，我们需要进一步提取手势特征，并将其映射为具体指令。

下面是一个完整的 Python 示例，展示如何调用 MediaPipe Hands 模型进行手势识别，并根据指尖位置判断是否'竖起食指'（可用于光标控制）。

import cv2
import mediapipe as mp
import numpy as np

# 初始化 MediaPipe Hands 模块
mp_hands = mp.solutions.hands
mp_drawing = mp.solutions.drawing_utils
hands = mp_hands.Hands(
    static_image_mode=False,
    max_num_hands=1,
    min_detection_confidence=0.7,
    min_tracking_confidence=0.5
)

# 自定义彩虹配色方案
RAINBOW_COLORS = [
    (0, 255, 255),     # 黄：拇指
    (128, 0, 128),     # 紫：食指
    (255, 255, 0),     # 青：中指
    (0, 255, 0),       # 绿：无名指
    (0, 0, 255)        # 红：小指
]

def draw_rainbow_connections(image, landmarks):
    """绘制彩虹骨骼线"""
    h, w, _ = image.shape
    connections = mp_hands.HAND_CONNECTIONS
    for connection in connections:
        start_idx, end_idx = connection
        if start_idx >= len(landmarks.landmark) or end_idx >= len(landmarks.landmark):
            continue
        # 获取两点坐标
        x1 = int(landmarks.landmark[start_idx].x * w)
        y1 = int(landmarks.landmark[start_idx].y * h)
        x2 = int(landmarks.landmark[end_idx].x * w)
        y2 = int(landmarks.landmark[end_idx].y * h)
        # 判断属于哪根手指（简化版）
        finger_id = get_finger_by_keypoint(start_idx)
        color = RAINBOW_COLORS[finger_id]
        cv2.line(image, (x1, y1), (x2, y2), color, 2)

def get_finger_by_keypoint(idx):
    """根据关键点索引判断所属手指"""
    if 1 <= idx <= 4:      # 拇指
        return 0
    elif 5 <= idx <= 8:    # 食指
        return 1
    elif 9 <= idx <= 12:   # 中指
        return 2
    elif 13 <= idx <= 16:  # 无名指
        return 3
    else:                  # 小指
        return 4

# 视频流处理主循环
cap = cv2.VideoCapture(0)
while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    # 转为 RGB 格式供 MediaPipe 使用
    rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    result = hands.process(rgb_frame)
    
    if result.multi_hand_landmarks:
        for hand_landmarks in result.multi_hand_landmarks:
            # 绘制白点
            mp_drawing.draw_landmarks(
                frame, hand_landmarks, mp_hands.HAND_CONNECTIONS,
                landmark_drawing_spec=mp_drawing.DrawingSpec(color=(255, 255, 255), thickness=3, circle_radius=1),
                connection_drawing_spec=None  # 不画默认线
            )
            # 绘制彩虹骨骼
            draw_rainbow_connections(frame, hand_landmarks)
            
            # 提取食指尖和指根高度，判断是否'伸出食指'
            index_tip = hand_landmarks.landmark[8]
            index_mcp = hand_landmarks.landmark[5]
            if index_tip.y < index_mcp.y - 0.05:
                cv2.putText(frame, 'Index Up - Cursor Mode', (10, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)
    
    cv2.imshow('Air Control - Rainbow Skeleton', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

3.1 关键逻辑说明

4. 如何实现真正的'隔空操控'？

仅仅识别出手势还不够，我们要让这些手势真正'有用'。以下是几种实用的控制映射方案：

4.1 常见手势 → 设备指令映射表

4.2 进阶技巧：动态轨迹识别

除了静态手势，还可以通过连续帧分析实现 滑动手势识别：

# 缓存最近 5 帧食指尖位置
finger_positions = []
if result.multi_hand_landmarks:
    tip = hand_landmarks.landmark[8]
    current_pos = (tip.x, tip.y)
    finger_positions.append(current_pos)
    if len(finger_positions) > 5:
        finger_positions.pop(0)
    # 计算平均移动方向
    dx = np.mean([finger_positions[i+1][0] - finger_positions[i][0] for i in range(4)])
    if dx > 0.02:
        print("Right Swipe Detected!")
    elif dx < -0.02:
        print("Left Swipe Detected!")

5. 总结

通过本次实战，我们基于 MediaPipe Hands 模型，成功实现了从环境搭建、手势识别到控制映射的完整流程。这套系统具备以下核心价值：

1. 零门槛部署：无需安装复杂依赖，直接运行 Python 脚本，适合快速验证原型；
2. 高精度识别：基于 MediaPipe 的 21 点 3D 检测，稳定性远超传统方法；
3. 强可视化能力：彩虹骨骼设计让调试更直观，用户体验更具科技感；
4. 本地化安全运行：不依赖网络、不上传数据，隐私更有保障；
5. 可扩展性强：支持接入 TV 控制、智能家居联动、AR/VR 交互等场景。

未来，随着边缘计算能力提升和 AI 模型小型化发展，这类'无形却智能'的交互方式将成为主流。也许不久之后，我们会像忘记翻页笔一样，逐渐告别遥控器。

而现在，你只需要一块普通摄像头 + 一个 Python 环境，就能亲手开启这场交互革命。