Python 爬虫技术实战指南：从入门到分布式采集

二、页面解析与数据提取

2.1 XPath 解析

XPath 是定位 HTML 元素的强大工具，适合结构清晰的静态页面。

from lxml import etree

html_content = '''<div class="news">
    <h1>标题</h1>
    <p class="author">作者</p>
</div>'''
tree = etree.HTML(html_content)
# 提取标题
title = tree.xpath('//div[@class="news"]/h1/text()')
print(title)

2.2 CSS 选择器与 BeautifulSoup

BeautifulSoup 容错性强，适合处理不规范 HTML。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'lxml')
items = soup.find_all('div', class_='news')
for item in items:
    print(item.get_text())

2.3 正则表达式

适用于提取特定格式文本，如邮箱、电话等。

import re
pattern = r'\d{3}-\d{4}'
match = re.search(pattern, text)
if match:
    print(match.group())

三、反爬策略应对技巧

3.1 请求头伪装

设置 User-Agent、Referer、Cookie 等头部信息，避免被识别为脚本。

headers = {
    'User-Agent': 'Mozilla/5.0...',
    'Referer': 'https://www.google.com/'
}

3.2 代理 IP 池

频繁访问会导致 IP 被封禁，需构建代理池并轮换使用。

proxies_list = ['http://ip1:port', 'http://ip2:port']
proxy = random.choice(proxies_list)
response = requests.get(url, proxies={'http': proxy}, timeout=5)

3.3 验证码与加密

• 验证码：集成 OCR 库（如 pytesseract）或调用打码平台 API。
• 参数加密：分析 JS 代码中的加密逻辑（如 MD5、AES），在 Python 中复现解密过程。

3.4 频率控制

使用 time.sleep() 模拟人工操作间隔，降低被封风险。

import time
time.sleep(random.uniform(1, 3))

四、工程化框架 Scrapy

4.1 项目初始化

Scrapy 是功能强大的异步爬虫框架。

scrapy startproject myspider
cd myspider
scrapy genspider example example.com

4.2 编写 Spider

定义 Item 模型和解析逻辑。

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['https://example.com/page/1']

    def parse(self, response):
        for href in response.css('a.next::attr(href)').getall():
            yield response.follow(href, self.parse)
        
        yield {
            'title': response.css('h1::text').get(),
            'content': response.css('.content::text').getall()
        }

4.3 中间件与管道

• Middleware：处理请求头、代理、异常重试。
• Pipeline：清洗数据、去重、入库。

五、数据存储与管理

5.1 MongoDB 存储

MongoDB 适合存储非结构化数据，如评论、日志。

from pymongo import MongoClient

client = MongoClient('localhost', 27017)
db = client['crawler_db']
collection = db['articles']

data = {'title': '示例文章', 'url': 'https://...'}
result = collection.insert_one(data)
print(result.inserted_id)

5.2 MySQL 存储

结构化数据建议使用关系型数据库。

import pymysql
conn = pymysql.connect(host='localhost', user='root', password='pwd', database='db')
cursor = conn.cursor()
cursor.execute("INSERT INTO articles (title) VALUES (%s)", ('Title',))
conn.commit()

六、分布式爬虫架构

6.1 Redis 任务队列

利用 Redis 实现任务分发与去重。

import redis
r = redis.Redis(host='localhost', port=6379)
r.lpush('crawl_queue', 'https://example.com')
while True:
    url = r.rpop('crawl_queue')
    if url:
        process(url)

6.2 Scrapy-Redis 集成

配置 DUPEFILTER_CLASS 和 SCHEDULER 实现多节点共享队列。

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
REDIS_HOST = 'localhost'
REDIS_PORT = 6379

七、性能优化与监控

7.1 并发控制

调整 Scrapy 的 CONCURRENT_REQUESTS 参数，平衡速度与稳定性。

7.2 日志记录

使用 logging 模块记录运行状态，便于排查问题。

import logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
logger.info("Crawl started")

结语

爬虫技术需要持续实践与迭代。建议从静态网站入手，逐步挑战动态加载和复杂反爬场景。始终遵循合法合规原则，合理控制抓取频率，保护目标服务器安全。通过掌握上述技术栈，你将具备独立构建高效数据采集系统的能力。