Python 网络爬虫实战指南：13 个核心场景与反爬策略解析

三、动态页面渲染处理（JavaScript）

现代网站常通过 AJAX 加载数据。若无法直接分析接口，可使用 Selenium 或 Playwright 模拟浏览器行为。

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://example.com")
element = driver.find_element(By.CLASS_NAME, "data-content")
data = element.text
driver.quit()

注意： 自动化测试工具资源消耗较大，建议优先尝试逆向分析 API 接口。

四、API 接口分析与参数构造

许多网站的数据通过 JSON API 返回。通过浏览器开发者工具的 Network 面板可捕获请求。

def fetch_api_data(api_url, params):
    response = requests.get(api_url, params=params)
    if response.status_code == 200:
        return response.json()
    return None

技巧：

• 检查请求头中的 Referer 和 Origin。
• 留意加密参数（如 sign, token），可能需要逆向 JS 逻辑。

五、Cookie 与 Session 管理

部分页面需要登录态才能访问。Session 对象可自动维护 Cookie。

session = requests.Session()
session.post("https://example.com/login", data={"user": "test", "pwd": "123"})
response = session.get("https://example.com/profile")

对于复杂验证码，可结合 OCR 技术或第三方打码平台处理。

六、IP 代理池与反检测

高频请求易触发 IP 封禁。使用代理池可分散请求来源。

proxies = {
    'http': 'http://127.0.0.1:8080',
    'https': 'https://127.0.0.1:8080'
}
response = requests.get(url, proxies=proxies)

最佳实践：

• 定期更换代理 IP。
• 控制请求频率，模拟人类行为间隔。

七、并发请求与性能优化

单线程爬虫效率低，可使用多线程或异步 IO 提升速度。

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = ["url1", "url2", "url3"]
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)

八、数据存储方案

采集到的数据需持久化存储。常见方式包括 CSV、数据库和 NoSQL。

import csv

def save_to_csv(data, filename):
    with open(filename, 'w', newline='', encoding='utf-8') as f:
        writer = csv.DictWriter(f, fieldnames=data[0].keys())
        writer.writeheader()
        writer.writerows(data)

对于海量数据，推荐使用 MongoDB 或 MySQL。

九、Scrapy 框架应用

Scrapy 是 Python 最强大的爬虫框架，内置了中间件、管道和调度器。

# scrapy_item.py
class MyItem(scrapy.Item):
    title = scrapy.Field()
    price = scrapy.Field()

配置 settings.py 可轻松实现去重、限速等功能。

十、分布式爬虫架构

大规模采集需多节点协作。Redis 常用于任务队列分发。

import redis
r = redis.Redis(host='localhost', port=6379)
r.lpush('crawl_queue', 'https://example.com/page1')

各工作节点从队列拉取 URL 并执行抓取，结果回写至 Redis 或数据库。

十一、反爬虫策略应对

常见反爬手段包括验证码、指纹识别、JS 混淆等。

1. 验证码： 接入打码平台或使用 OCR 识别。
2. 指纹识别： 修改浏览器指纹库（如 User-Agent, Canvas 指纹）。
3. JS 混淆： 使用 PyExecJS 执行解密 JS 代码。

十二、数据清洗与结构化

原始数据常包含噪声，需进行清洗。

import re

def clean_text(text):
    text = re.sub(r'\s+', ' ', text)
    text = re.sub(r'[^一-龥a-zA-Z0-9]', '', text)
    return text.strip()

确保数据格式统一，便于后续分析。

十三、法律合规与伦理规范

爬虫开发必须遵守法律法规。

• robots.txt： 尊重网站的爬虫协议。
• 隐私保护： 不采集用户个人隐私信息。
• 版权意识： 不侵犯网站内容版权。
• 频率控制： 避免对目标服务器造成压力。

结语

掌握上述 13 个核心场景，即可构建稳定高效的 Python 爬虫系统。技术本身是中性的，关键在于如何合法合规地利用数据价值。持续学习新技术，关注反爬策略演变，是爬虫工程师的必修课。