Python 爬虫实战：常见验证码自动识别方案

Python 爬虫实战：常见验证码自动识别方案 | 极客日志

Python 爬虫实战：常见验证码自动识别方案

一、引言

在网页数据采集过程中，验证码（CAPTCHA）是阻碍自动化脚本访问的主要屏障之一。验证码的全称是 Completely Automated Public Turing test to tell Computers and Humans Apart，即完全自动化的公共图灵测试，用于区分人类用户和计算机程序。其核心目的是防止恶意攻击、垃圾注册、暴力破解等自动化行为。

对于爬虫开发者而言，理解验证码的生成机制并掌握相应的识别技术，是提升爬虫稳定性和效率的关键。本文将深入探讨三种主流验证码类型：文字验证码、图像验证码和滑动验证码，并提供基于 Python 的完整识别解决方案。

二、环境准备与依赖安装

在进行验证码识别之前，需要搭建好必要的开发环境。主要依赖包括图像处理库、OCR 引擎以及深度学习框架。

1. 基础依赖

pip install requests pillow opencv-python numpy

2. OCR 引擎 (Tesseract)

Tesseract 是 Google 开源的 OCR 引擎，支持多种语言识别。Linux 下需单独安装二进制文件：

# Ubuntu/Debian
sudo apt-get install tesseract-ocr
sudo apt-get install libtesseract-dev
# Windows/Mac 需从官网下载安装包并配置环境变量

3. 深度学习框架

若使用深度学习模型，建议安装 TensorFlow 或 PyTorch：

pip install tensorflow keras

三、文字验证码识别

文字验证码是最基础的类型，通常由随机生成的字母、数字或干扰线组成。识别方法主要分为传统 OCR 和深度学习两类。

1. 传统 OCR 识别 (Tesseract)

Tesseract 对清晰、无干扰的文字效果较好，但在面对复杂背景时准确率会下降。因此，预处理至关重要。

预处理步骤

灰度化：将彩色图片转为灰度图，减少通道数。
二值化：通过阈值处理将图像分为黑白两色，去除噪点。
去噪：使用高斯模糊或形态学操作去除孤立噪点。

代码示例

from PIL import Image, ImageFilter
import pytesseract
import cv2
import numpy as np

def preprocess_image(image_path):
    # 读取图片
    img = cv2.imread(image_path)
    
    # 转灰度
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
    # 二值化 (Otsu's thresholding)
    _, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
    
    # 保存预处理后的图片供 Tesseract 读取
    cv2.imwrite('preprocessed.png', binary)
    return 'preprocessed.png'

def recognize_text(image_path):
    # 预处理
    processed_path = preprocess_image(image_path)
    
    # 调用 Tesseract
    config = '--psm 6 --oem 3 -c tessedit_char_whitelist=ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789'
    text = pytesseract.image_to_string(Image.open(processed_path), config=config)
    
    return text.strip()

if __name__ == '__main__':
    result = recognize_text('captcha.png')
    print(f'识别结果：{result}')

2. 深度学习识别

对于包含扭曲、粘连或复杂背景的验证码，深度学习模型（如 CNN）具有更高的鲁棒性。

模型构建思路

输入层：固定尺寸的图片（如 64x64）。
卷积层：提取特征（Conv2D + ReLU + MaxPooling）。
全连接层：分类输出（Flatten + Dense）。
输出层：Softmax 激活函数，对应字符集概率。

代码示例 (Keras)

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from tensorflow.keras.utils import to_categorical
import numpy as np

# 假设已有训练好的数据 X_train, y_train
# X_train shape: (num_samples, height, width, channels)
# y_train shape: (num_samples, num_classes)

def build_model(input_shape, num_classes):
    model = Sequential()
    model.add(Conv2D(32, (3, 3), activation='relu', input_shape=input_shape))
    model.add(MaxPooling2D((2, 2)))
    model.add(Conv2D(64, (3, 3), activation='relu'))
    model.add(MaxPooling2D((2, 2)))
    model.add(Flatten())
    model.add(Dense(128, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(num_classes, activation='softmax'))
    
    model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
    return model

# 加载预训练模型
# model = load_model('captcha_model.h5')
# prediction = model.predict(test_image)

四、图像验证码识别

图像验证码要求用户识别图片中的特定物体（如'选出所有红绿灯'）。这类问题本质上是图像分类或多标签分类问题。

1. 识别策略

由于涉及物体检测，简单的 OCR 无法解决。通常采用以下两种方案：

迁移学习：使用预训练的 ResNet、VGG 或 MobileNet 模型进行微调。
目标检测：使用 YOLO 或 SSD 模型定位特定物体。

2. 实现流程

数据收集：收集大量标注好的验证码图片。
数据增强：旋转、裁剪、加噪，提高模型泛化能力。
模型训练：冻结底层参数，仅训练顶层分类器。
推理预测：输入验证码图片，输出类别概率。

3. 代码逻辑示意

from tensorflow.keras.applications import MobileNetV2
from tensorflow.keras.preprocessing import image
from tensorflow.keras.applications.mobilenet_v2 import preprocess_input, decode_predictions

def predict_object(image_path):
    # 加载预训练模型
    base_model = MobileNetV2(weights='imagenet', include_top=True)
    
    # 读取并预处理图片
    img = image.load_img(image_path, target_size=(224, 224))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    x = preprocess_input(x)
    
    # 预测
    preds = base_model.predict(x)
    results = decode_predictions(preds, top=3)[0]
    
    for label, description, score in results:
        if score > 0.5:
            print(f'识别为：{description} (置信度：{score:.2f})')

五、滑动验证码识别

滑动验证码是目前较为复杂的类型，通常需要计算滑块在背景图中的偏移量。核心算法是模板匹配。

1. 原理分析

系统通常会提供一张完整的背景图和一张带有缺口的背景图，或者提供缺口图和背景图。我们需要找到缺口图在背景图中的位置。

2. 模板匹配算法

OpenCV 提供了 cv2.matchTemplate 函数，通过计算滑动窗口与模板的相关系数来寻找最佳匹配位置。

3. 代码实现

import cv2
import numpy as np

def find_slider_position(bg_path, gap_path):
    # 读取图片
    bg = cv2.imread(bg_path)
    gap = cv2.imread(gap_path)
    
    # 转换为灰度图
    gray_bg = cv2.cvtColor(bg, cv2.COLOR_BGR2GRAY)
    gray_gap = cv2.cvtColor(gap, cv2.COLOR_BGR2GRAY)
    
    # 获取缺口图的宽和高
    w, h = gray_gap.shape[1], gray_gap.shape[0]
    
    # 执行模板匹配
    res = cv2.matchTemplate(gray_bg, gray_gap, cv2.TM_CCOEFF_NORMED)
    
    # 查找最大值及其位置
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
    
    # 计算中心点坐标
    # 注意：实际移动距离通常是左上角坐标加上缺口宽度的一半
    left = max_loc[0]
    top = max_loc[1]
    distance = left + w // 2
    
    print(f'滑块起始位置：({left}, {top})')
    print(f'需要移动的距离：{distance}px')
    
    return distance

# 使用示例
# distance = find_slider_position('bg.png', 'gap.png')

4. 高级处理技巧

边缘检测：如果背景纹理复杂，可先使用 Canny 算子提取边缘再进行匹配。
多尺度匹配：如果滑块大小不确定，可在不同缩放比例下进行匹配。
动态调整：结合 Selenium 或 Appium 模拟鼠标拖拽动作，而非直接修改请求参数。

六、综合应用与反爬对抗

在实际爬虫项目中，验证码识别往往只是其中一环。为了成功绕过验证，还需配合以下策略：

请求头伪造：设置 User-Agent、Referer、Cookie 等字段，模拟真实浏览器。
IP 代理池：频繁请求会导致 IP 被封禁，需轮换代理 IP。
时间间隔控制：避免短时间内高频发送请求，加入随机延时。
Cookie 维护：保持会话状态，利用 Session 对象管理 Cookie。

示例：集成到 Requests 中

import requests
from fake_useragent import UserAgent

headers = {
    'User-Agent': UserAgent().chrome,
    'Accept-Language': 'zh-CN,zh;q=0.9'
}

session = requests.Session()
response = session.get('https://example.com/captcha', headers=headers)

# 假设已识别出验证码 token
captcha_token = get_captcha_from_image(response.content)

payload = {
    'username': 'user',
    'password': 'pass',
    'captcha': captcha_token
}

login_response = session.post('https://example.com/login', data=payload, headers=headers)
print(login_response.text)

七、法律合规与道德风险

虽然验证码识别技术在技术上可行，但必须严格遵守法律法规和网站的服务条款。

合法用途：仅用于个人学习、研究或获得授权的数据采集。
禁止滥用：不得用于批量注册账号、刷单、攻击服务器等非法活动。
尊重协议：遵守 robots.txt 协议及网站的 API 使用限制。
责任自负：因违规操作导致的封号、法律诉讼等后果由使用者自行承担。

八、总结

本文详细介绍了 Python 环境下三种常见验证码的识别原理与实现方案：

文字验证码：推荐使用 Tesseract OCR 配合图像预处理，复杂场景下使用 CNN 深度学习模型。
图像验证码：适合使用迁移学习模型进行物体分类识别。
滑动验证码：利用 OpenCV 模板匹配算法计算偏移量，结合自动化控件模拟拖拽。

随着验证码技术的不断升级（如行为验证、语义验证），识别难度也在增加。开发者应持续关注新技术，同时始终坚守法律底线，确保技术应用的安全性与合规性。

Python 爬虫实战：常见验证码自动识别方案