Python 爬虫架构：基于 Selenium 与 ScrapyRT 的高并发动态网页抓取

2. ScrapyRT 服务化改造

# 自定义 ScrapyRT 中间件（middleware.py）
class SeleniumMiddleware:
    def process_request(self, request, spider):
        if 'selenium' in request.meta:
            driver = get_available_driver()  # 从连接池获取
            driver.get(request.url)
            return HtmlResponse(
                url=request.url,
                body=driver.page_source,
                encoding='utf-8',
                request=request
            )

API 设计规范：

GET /render.html：完整页面渲染
POST /execute_script：执行自定义 JS
HEAD /check_status：服务健康检查

3. 智能等待策略

# 显式等待封装（wait_utils.py）
def smart_wait(driver, timeout=30):
    try:
        WebDriverWait(driver, timeout).until(
            EC.presence_of_element_located((By.CSS_SELECTOR, ".dynamic-content"))
        )
    except TimeoutException:
        driver.execute_script("window.stop();")  # 终止未完成请求
        raise RenderTimeout("Page load timeout")

优化技巧：

结合 performance.timing 分析资源加载耗时
使用 driver.execute_cdp_cmd() 实现 Chrome DevTools 协议控制
建立常见页面模板的特征库，实现智能等待时间预测

四、系统架构图

HTTP/REST 负载均衡 -> Nginx 负载均衡路由策略 -> 任务调度业务系统 -> ScrapyRT 服务集群 -> Selenium Hub 爬虫任务队列 -> Chrome 节点集群 -> Scrapy 引擎集群

五、性能优化实践

1. 资源隔离策略

CPU 密集型任务：分配专用节点（禁用 GPU 加速）
I/O 密集型任务：使用 --disable-dev-shm-usage 参数
内存管理：设置 --memory-swap 限制，定期清理无头浏览器缓存

2. 并发控制算法

# 令牌桶限流实现（rate_limiter.py）
class TokenBucket:
    def __init__(self, rate, capacity):
        self.capacity = capacity
        self.tokens = capacity
        self.last_time = time.time()
        self.rate = rate  # tokens per second

    def consume(self, tokens=1):
        now = time.time()
        elapsed = now - self.last_time
        self.tokens = min(self.capacity, self.tokens + elapsed * self.rate)
        self.last_time = now
        if self.tokens >= tokens:
            self.tokens -= tokens
            return True
        return False

3. 监控体系

指标采集：

浏览器实例利用率（selenium_node_sessions）
页面渲染耗时（render_latency_seconds）
错误率（render_failed_total）

告警规则：

连续 5 分钟实例利用率>80% 触发扩容
错误率>5% 时自动切换备用节点池

六、总结与展望

本文提出的架构通过以下创新点解决动态爬虫难题：

服务化改造：将浏览器操作封装为标准 API，实现爬虫逻辑与渲染引擎解耦
弹性伸缩：基于 Kubernetes 的自动扩缩容机制，应对突发流量
智能调度：结合页面特征和资源使用率实现动态任务分配