Playwright 多浏览器并发爬虫实战：三大引擎性能对比与优化

这个脚本能帮你快速确认三个浏览器引擎是否都安装正确。如果 Firefox 启动失败，在 Linux 上可能是缺少 libgtk 相关库；WebKit 在部分旧系统上可能需要额外依赖。根据报错信息搜索，通常都能找到解决方案。

2.2 为并发优化的启动参数配置

直接使用默认参数启动浏览器进行并发任务，可能会浪费资源或触发限制。我们需要针对爬虫场景进行调优。我的经验是，为不同类型的浏览器配置不同的启动参数，可以显著提升稳定性和效率。

下面这个配置类是我在多个项目中提炼出来的，你可以直接复制使用：

class BrowserConfig:
    """浏览器启动配置模板"""
    @staticmethod
    def get_chromium_args():
        """Chromium 优化参数：速度优先，资源适中"""
        return {
            "headless": True,
            "args": [
                "--disable-blink-features=AutomationControlled",
                "--disable-dev-shm-usage",
                "--no-sandbox",
                "--disable-web-security",
                "--disable-features=IsolateOrigins,site-per-process"
            ],
            "viewport": {"width": 1920, "height": 1080},
            "ignore_https_errors": True,
            "timeout": 30000
        }

    @staticmethod
    def get_firefox_args():
        """Firefox 优化参数：侧重兼容性与稳定性"""
        return {
            "headless": True,
            "firefox_user_prefs": {
                "javascript.enabled": True,
                "dom.webdriver.enabled": False,
                "media.volume_scale": "0.0",
                "privacy.trackingprotection.enabled": False
            },
            "viewport": {"width": 1920, "height": 1080},
            "ignore_https_errors": True,
            "timeout": 40000
        }

    @staticmethod
    def get_webkit_args():
        """WebKit 优化参数：模拟真实 Safari 环境"""
        return {
            "headless": True,
            "user_agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Safari/605.1.15",
            "viewport": {"width": 1920, "height": 1080},
            "ignore_https_errors": True,
            "timeout": 35000
        }

# 使用示例
with sync_playwright() as p:
    config = BrowserConfig()
    chromium_browser = p.chromium.launch(**config.get_chromium_args())
    firefox_browser = p.firefox.launch(**config.get_firefox_args())
    webkit_browser = p.webkit.launch(**config.get_webkit_args())

这些参数都是我踩过坑后总结的。比如 --disable-dev-shm-usage 能解决在 Docker 或内存有限环境下 Chromium 崩溃的问题。Firefox 的 dom.webdriver.enabled 偏好设置能进一步降低被检测的风险。WebKit 则重点配置了 macOS Safari 的典型 User-Agent，让它看起来更'真实'。

3. 构建稳健的多浏览器并发框架

有了基础的浏览器实例，下一步就是让它们协同工作。并发不是简单的同时开几个浏览器，而是要管理好它们的生命周期、任务分配和错误处理。我设计了一个基于异步（asyncio）的并发管理器，它包含了连接池、错误重试和资源限制等实用功能。

3.1 异步并发核心引擎

同步 API 写起来简单，但在高并发 I/O 密集型任务（如爬虫）中，异步 API 能大幅提升效率，因为它能在等待网络响应时去处理其他任务。下面这个 AsyncBrowserManager 类是我常用的框架核心：

import asyncio
import logging
from typing import List, Dict, Any, Optional
from playwright.async_api import async_playwright, Browser, BrowserType

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

class AsyncBrowserManager:
    """异步多浏览器并发管理器"""
    def __init__(self, max_concurrent_per_browser: int = 3):
        """
        初始化管理器
        :param max_concurrent_per_browser: 每种浏览器类型允许的最大并发上下文数
        """
        self.playwright = None
        self.browsers: Dict[str, Browser] = {}
        self.semaphores: Dict[str, asyncio.Semaphore] = {}
        self.max_concurrent = max_concurrent_per_browser
        self.config = {}

    async def start(self):
        """启动 Playwright 及浏览器实例"""
        self.playwright = await async_playwright().start()
        
        # 初始化三种浏览器及其信号量
        for name, browser_type in [("chromium", self.playwright.chromium), 
                                    ("firefox", self.playwright.firefox), 
                                    ("webkit", self.playwright.webkit)]:
            self.semaphores[name] = asyncio.Semaphore(self.max_concurrent)
            logger.info(f"Initialized semaphore for {name}")

    async def close(self):
        """清理资源"""
        if self.playwright:
            await self.playwright.stop()
        for b in self.browsers.values():
            await b.close()
        self.browsers.clear()

    async def run_task(self, url: str, browser_name: str):
        """
        执行单个任务示例
        :param url: 目标 URL
        :param browser_name: 浏览器名称
        """
        async with self.semaphores[browser_name]:
            try:
                context = await self.browsers[browser_name].new_context(
                    viewport={"width": 1920, "height": 1080}
                )
                page = await context.new_page()
                await page.goto(url, wait_until="networkidle")
                content = await page.content()
                logger.info(f"Fetched from {browser_name}: {len(content)} bytes")
                await context.close()
            except Exception as e:
                logger.error(f"Task failed on {browser_name}: {e}")

这段代码的核心在于 semaphores（信号量）。它限制了每种浏览器同时运行的上下文数量，防止因为并发过高导致内存溢出或触发浏览器的自我保护机制。在实际使用中，你可以根据服务器配置调整 max_concurrent_per_browser 的值。记得在任务结束后调用 close() 方法释放资源，这是很多新手容易忽略的地方。

4. 性能对比与实战建议

在实际跑通流程后，你会发现不同浏览器的表现确实存在差异。Chromium 通常在解析速度和 DOM 操作上有优势，适合大多数常规抓取；Firefox 在处理某些复杂的 JavaScript 交互时更稳定；而 WebKit 则在移动端模拟和特定 iOS 站点访问上不可替代。

建议你在正式大规模部署前，先小范围测试不同浏览器对目标站点的加载时间和反爬触发率。不要盲目追求最高并发，稳定的低延迟往往比高风险的高吞吐更有价值。