Python 自动化购物脚本实现：基于 Airtest 与 Poco 的 UI 操作实践

第 2 步：关键字搜索商品列表

利用 Poco 控件定位输入框，输入关键字并触发搜索。考虑到网络延迟，需增加等待机制确保列表加载完成。

def __search_good_by_key(self, key):
    """
    通过关键字搜索商品
    :param key: 搜索关键词
    :return:
    """
    self.poco(id='id_page_main_button_search').wait(5).click()
    
    # 输入文本
    perform_view_input(self.poco, id='id_page_search_edittext_search', text=key)

    # 点击搜索按钮，处理可能的重复点击需求
    search_btn = self.poco(id='id_page_search_button_search')
    search_btn.wait_for_appearance()
    while search_btn.exists():
        print('点击一次搜索')
        perform_view_id_click(self.poco, id='id_page_search_button_search')

    # 等待商品列表容器出现
    goods_rv = self.poco(id='id_page_goods_rv')
    goods_rv.wait_for_appearance(timeout=10)

第 3 步：图片预处理与主图裁剪

为了进行精准的商品匹配，需要从截图中提取出商品的主图区域。通过遍历像素点判断背景色（通常为白色），计算有效区域的坐标边界。

import cv2
import numpy as np

def crop_main_img(img_path):
    """
    获取商品主图
    :param img_path: 原图路径
    :return: 裁剪后的主图路径
    """
    img = cv2.imread(img_path)
    size = img.shape
    img_height, img_width, channels = size[0], size[1], size[2]

    color_white = np.array([255, 255, 255])
    arr_x = []
    arr_y = []

    # 遍历宽，检测 X 轴非白区域
    for x in range(img_width):
        is_black = True
        for y in range(img_height):
            color_position = img[y, x]
            # 判断是否为纯白背景
            if not np.array_equal(color_position, color_white):
                is_black = False
        arr_x.append(is_black)

    # 遍历高，检测 Y 轴非白区域
    for y in range(img_height):
        is_black = True
        for x in range(img_width):
            color_position = img[y, x]
            if not np.array_equal(color_position, color_white):
                is_black = False
        arr_y.append(is_black)

    # 获取第一个非白像素的索引
    position_x = [i for i, val in enumerate(arr_x) if not val]
    position_y = [i for i, val in enumerate(arr_y) if not val]

    if not position_x or not position_y:
        return None

    main_img_path = "./head_img.jpeg"
    cropped = img[position_y[0]:position_y[-1]+1, position_x[0]:position_x[-1]+1]
    cv2.imwrite(main_img_path, cropped)
    return main_img_path

第 4 步：商品模板匹配

利用 OpenCV 或 Airtest 的模板匹配功能，在当前页面查找与主图相似的元素。若未找到，则执行滑动操作继续查找。

from airtest.core.api import TemplateMatch

def __search_good_from_list(self):
    """
    从列表中匹配商品
    :return:
    """
    screen_size = self.poco.get_screen_size()
    
    while True:
        try:
            # 使用模板匹配，阈值设为 0.95 以保证精度
            pos = loop_find(Template(self.main_img_path), timeout=10, threshold=0.95)
            print('找到了')
            break
        except TargetNotFoundError:
            print('滑动一页')
            self.__swipe(True)

    # 将绝对坐标转换为相对坐标以便 Poco 点击
    position_click = (pos[0] / screen_size[0], pos[1] / screen_size[1])
    self.poco.click(position_click)

第 5 步：商品详情浏览与收藏

进入详情页后，执行收藏操作，并在指定时间内模拟人工浏览行为（休眠 + 滑动），以增加账号活跃度。

import datetime
import random

def __browser_good_detail(self):
    """
    浏览商品
    :return:
    """
    # 切换到详情 Tab
    self.poco(text='详情').click()

    browser_start = datetime.datetime.now()
    browser_end = browser_start
    target_time = 60  # 浏览时长秒数

    while (browser_end - browser_start).seconds < target_time:
        time.sleep(random.randint(2, 5))
        self.__swipe(True)
        browser_end = datetime.datetime.now()

    print('详情页面查看完毕')

第 6 步：购买流程模拟

点击购买按钮，选择属性并提交订单。出于安全考虑，支付环节建议保留手动操作，脚本仅负责到提交订单前。

def __buy_good(self):
    """
    购买商品
    :return:
    """
    # 立即购买
    self.poco(text='立即购买').click()
    sleep(10)

    # 确定购买
    self.poco(text='确定').parent().click()

    # 提交订单
    self.poco(text='提交订单').click()
    sleep(10)
    # 此处暂停，等待用户手动输入密码或指纹

第 7 步：获取订单号与截图

订单号通常位于弹窗或特定布局中，难以直接通过 ID 获取。可通过模拟点击'复制'按钮，利用 ADB 命令读取系统剪贴板内容。

import re

def __get_order_no(self):
    """
    获取订单编号
    :return:
    """
    copy_element = None
    while True:
        try:
            copy_element = self.poco(text='复制')
            break
        except Exception:
            print('没有找到元素，往下滑动一页')
            self.__swipe(True)

    copy_element.click()

    # 调用外部工具获取剪贴板内容
    result = exec_cmd('adb shell am broadcast -a clipper.get')[1]

    # 正则匹配订单号
    match = re.findall(r'data="(.*)"', result)
    order_no = match[0] if match else ''
    print(order_no)
    return order_no

def get_order_pic(self):
    """
    拿到订单截图界面
    :return:
    """
    screenshot_pic_result = './order_screenshot.png'
    exec_cmd('adb shell /system/bin/screencap -p /sdcard/screenshot.png')
    exec_cmd('adb pull /sdcard/screenshot.png %s' % screenshot_pic_result)
    return screenshot_pic_result

常见问题排查

1. 分辨率适配问题：不同手机屏幕分辨率会导致图片匹配误差。建议在代码中加入图片缩放逻辑，根据当前屏幕尺寸动态调整模板大小。
2. 控件稳定性：UI 元素 ID 可能随版本更新变化。建议同时采用多种定位策略（ID、Text、Image）作为兜底方案。
3. 反爬虫机制：部分电商平台会检测自动化特征。建议增加随机延时、模拟人类鼠标轨迹等行为，降低被封禁风险。

结论与安全规范

通过上述步骤，我们构建了一套完整的移动端 UI 自动化脚本，实现了从搜索到下单的全流程模拟。该方案展示了 Python 在跨平台自动化领域的强大能力，结合了计算机视觉与控件树技术的优势。

重要提示：

• 自动化脚本应主要用于软件测试、回归验证及辅助性工作效率提升。
• 请勿利用此类脚本进行商业欺诈、恶意刷单或侵犯他人权益的行为。
• 在使用前请务必阅读相关平台的用户协议，遵守法律法规。

希望本文能为从事移动端自动化测试的技术人员提供有价值的参考。