手势控制电脑的技术路径与落地实践
手势控制电脑（Hand Gesture Control）属于自然人机交互（NUI）领域，早已从科幻电影走向实际应用。主流方案大致分为视觉识别、专用硬件和穿戴式三类。对于大多数开发者而言，视觉方案 + MediaPipe 是性价比最高、最易落地的选择。
1. 主要技术方案对比
| 方案类型 | 代表技术/硬件 | 精度 | 延迟 | 成本 | 适用场景 |
|---|---|---|---|---|---|
| 普通摄像头视觉 | MediaPipe Hands + OpenCV | 高（2D） | 极低 | 免费 | 日常办公、DIY |
| 专用深度/红外摄像头 | Ultraleap Leap Motion 2 | 极高（3D） | 极低 | 100-200 美元 | 专业、VR/AR |
| 深度摄像头 | Intel RealSense / Kinect | 高 | 低 | 50-300 美元 | 研究、机器人 |
| 穿戴式传感器 | 数据手套、IMU 手环 | 中 - 高 | 中 | 中 - 高 | 特定专业领域 |
2. 核心方案：MediaPipe + 普通摄像头
Google MediaPipe Hands 是目前最强的开源解决方案之一，持续优化至 2025 年依然表现优异。它支持实时检测多手（通常 2 手），每手提供 21 个 3D 关键点（landmarks），涵盖指尖、关节及世界坐标。更重要的是，它内置了 Gesture Recognizer，预训练了 Closed_Fist、Open_Palm、Victory 等常用手势，且 CPU 实时运行完全够用，无需依赖 GPU 集群。
要实现鼠标控制，典型流程如下：
- 使用 OpenCV 读取摄像头画面。
- MediaPipe Hands 处理每一帧，获取 21 个 landmark 坐标。
- 计算手指状态（如指尖 Y 坐标与指根 Y 坐标的差值判断伸直）。
- 自定义手势映射逻辑。
3. 实现细节与代码示例
将手势映射到屏幕坐标需要归一化处理。以食指指尖为例，将其在图像中的位置映射到屏幕分辨率即可控制光标移动。而拇指与食指的捏合动作，由于距离变化明显，非常适合用作触发点击事件。
下面是一个最小可运行的 Python 脚本，展示了如何结合 cv2、mediapipe 和 pyautogui 实现基础控制。注意，实际运行前请确保已安装相关依赖库。
import cv2
import mediapipe as mp
import pyautogui
numpy np
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(static_image_mode=, max_num_hands=)
mp_draw = mp.solutions.drawing_utils
screen_width, screen_height = pyautogui.size()
()
cv2.VideoCapture() cap:
cap.isOpened():
success, image = cap.read()
success:
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
results = hands.process(image_rgb)
results.multi_hand_landmarks:
hand_landmarks results.multi_hand_landmarks:
mp_draw.draw_landmarks(image, hand_landmarks, mp_hands.HAND_CONNECTIONS)
index_tip = hand_landmarks.landmark[]
thumb_tip = hand_landmarks.landmark[]
x = (index_tip.x * screen_width)
y = (index_tip.y * screen_height)
pyautogui.moveTo(x, y)
distance = np.linalg.norm(np.array([index_tip.x, index_tip.y]) -
np.array([thumb_tip.x, thumb_tip.y]))
distance < :
pyautogui.click()
cv2.imshow(, image)
cv2.waitKey() & == ():
cv2.destroyAllWindows()
