Python 自动化库 PyAutoGUI 使用指南

3. 屏幕截图与图像识别

(1) 截图功能

pyautogui.screenshot() 可截取当前屏幕或指定区域，返回 PIL Image 对象。

# 截取全屏
screenshot = pyautogui.screenshot()
screenshot.save('full_screen.png')

# 截取指定区域 (x, y, width, height)
region_img = pyautogui.screenshot(region=(0, 0, 300, 400))
region_img.save('region.png')

(2) 图像位置识别

利用 locateOnScreen 可以在屏幕上查找特定图片的位置。当图片匹配失败时，可通过调整 confidence 参数提高容错率。

import pyautogui

img_path = 'button_icon.png'
location = pyautogui.locateOnScreen(img_path, confidence=0.8)

if location:
    center_x, center_y = pyautogui.center(location)
    pyautogui.click(center_x, center_y)
else:
    print('未找到目标图像')

注意： confidence 参数取值范围 0 到 1。值越高匹配越严格但速度越慢；值越低匹配越宽松但可能误判。

4. 获取鼠标位置与颜色

实时获取鼠标坐标及所在像素颜色常用于调试或游戏辅助。

import pyautogui
import time

def get_mouse_info():
    time.sleep(2)  # 等待准备时间
    x, y = pyautogui.position()
    rgb = pyautogui.pixel(x, y)
    print(f'坐标：({x}, {y}), RGB: {rgb}')
    return x, y

四、安全配置与最佳实践

1. 防误触保护 (Failsafe)

为防止自动化脚本失控导致硬件损坏或数据丢失，PyAutoGUI 提供了安全开关。当 FAILSAFE=True 时，将鼠标快速移至屏幕左上角会抛出异常中断程序。

import pyautogui

# 禁用安全开关（谨慎使用）
pyautogui.FAILSAFE = False

2. 执行延迟设置

为避免操作过快导致界面未加载完成，可设置全局暂停时间。

import pyautogui

# 每次操作后暂停 2.5 秒
pyautogui.PAUSE = 2.5

3. 剪贴板集成

由于直接输入中文可能存在编码问题，结合 pyperclip 可实现更稳定的文本发送。

import pyautogui
import pyperclip

text = '你好，世界'
pyperclip.copy(text)
pyautogui.hotkey('ctrl', 'v')

五、实战案例：自动化微信消息发送

本案例演示如何通过图像识别定位微信窗口，并自动发送预设消息。

1. 准备工作

1. 截取微信主界面图标保存为 wechat_icon.png。
2. 截取微信搜索框区域保存为 search_box.png。
3. 准备消息列表文件 messages.txt。

2. 核心代码逻辑

import pyautogui
import pyperclip
import time

# 配置参数
pyautogui.PAUSE = 1
pyautogui.FAILSAFE = True
target_account = 'friend_id'

# 最小化所有窗口以回到桌面
pyautogui.hotkey('win', 'm')

# 1. 打开微信
loc_icon = pyautogui.locateOnScreen('wechat_icon.png', confidence=0.7)
if loc_icon:
    pyautogui.doubleClick(pyautogui.center(loc_icon))
    time.sleep(3)

# 2. 搜索联系人
loc_search = pyautogui.locateOnScreen('search_box.png', confidence=0.7)
if loc_search:
    pyautogui.click(pyautogui.center(loc_search))
    pyautogui.typewrite(target_account)
    pyautogui.press('enter')
    time.sleep(2)

# 3. 读取并发送消息
with open('messages.txt', 'r', encoding='utf-8') as f:
    lines = f.readlines()

for msg in lines:
    msg = msg.strip()
    if not msg:
        continue
    pyperclip.copy(msg)
    pyautogui.hotkey('ctrl', 'v')
    pyautogui.press('enter')
    time.sleep(1)

六、常见问题与注意事项

1. 分辨率适配：图像识别依赖于截图分辨率，不同显示器可能导致定位失败。建议在固定分辨率环境下运行，或使用相对坐标计算。
2. 权限问题：在 macOS 上，首次运行可能需要授予'辅助功能'权限，否则无法模拟输入。
3. 多屏支持：locateOnScreen 默认在主屏工作，多屏环境需明确指定屏幕索引或使用 locateCenterOnScreen。
4. 性能优化：频繁截图会消耗大量资源，建议仅在必要时调用，或缓存关键图像位置。

七、总结

PyAutoGUI 是一款功能强大且易于上手的桌面自动化工具。通过掌握其鼠标、键盘控制及图像识别能力，开发者可以显著提升重复性工作的效率。在实际应用中，建议结合错误处理机制与安全配置，确保自动化流程的稳定性与安全性。