基于 Crawlee 构建类人行为爬虫框架实战

实战案例：掘金前端话题爬取

本案例挑战在有限时间内完成特定平台的内容爬取与结构化存储。

1. 初始化项目

使用官方模板或手动创建项目目录。安装必要的依赖包：

npm init -y
npm install --save crawlee cheerio puppeteer

Crawlee 提供三个核心类供选择：

• CheerioCrawler：针对普通 HTTP 爬取，速度快但不支持 JS 渲染。
• PuppeteerCrawler：基于 Google 开源的 Puppeteer，控制 Chrome/Firefox。
• PlaywrightCrawler：基于 Microsoft 开源的 Playwright，支持多浏览器内核。

本例选用 PuppeteerCrawler。

2. 配置文件设计

为了增加灵活性，将 URL 和选择器配置独立出来。

// config.mjs
export default [
  {
    label: 'juejin',
    url: 'https://juejin.cn/frontend',
    selector: {
      detail: '.entry-list .title-row a',
      title: 'h1.article-title',
      author: '.author-info-box .author-name a span',
      modifiedDate: '.author-info-box .meta-box time',
      hit: '.author-info-box .meta-box .views-count',
      readTime: '.author-info-box .meta-box .read-time',
      description: '.article-header p',
      content: '.article-viewer',
    },
  }
]

3. 路由与处理逻辑

定义入口文件 main.mjs，初始化爬虫实例并添加请求队列。

// main.mjs
import { PuppeteerCrawler, log } from 'crawlee';
import { router } from './routes.mjs';
import config from './config.mjs';

log.setLevel(log.LEVELS.DEBUG);

const crawler = new PuppeteerCrawler({
  maxConcurrency: 10,
  maxRequestsPerMinute: 20,
  launchContext: {
    launchOptions: {
      headless: true, // 生产环境建议开启无头模式
    },
  },
  maxRequestsPerCrawl: 1000,
  requestHandler: router,
  failedRequestHandler({ request, log }) {
    log.error(`Request ${request.url} failed too many times.`);
  },
});

await crawler.addRequests(config.map(item => ({ url: item.url, label: item.label })));
await crawler.run();

核心路由逻辑 routes.mjs 包含列表页和详情页处理：

// routes.mjs
import { createPuppeteerRouter, Dataset } from 'crawlee';
import config from './config.mjs';

export const router = createPuppeteerRouter();

config.forEach(async item => {
  const dataset = await Dataset.open(item.label);

  // 列表页处理
  router.addHandler(`${item.label}`, async ({ request, page, enqueueLinks, log }) => {
    page.setDefaultTimeout(5000);
    log.debug(`Enqueueing pagination: ${request.url}`);

    // 模拟滚动加载
    const scrollToBottom = async (page) => {
      let previousHeight;
      let newHeight;
      let reachedEnd = false;
      let count = 0;

      while (!reachedEnd && count < 2) {
        previousHeight = await page.evaluate('document.body.scrollHeight');
        await page.evaluate('window.scrollBy(0, document.body.scrollHeight)');
        await new Promise(resolve => setTimeout(resolve, 3000));
        newHeight = await page.evaluate('document.body.scrollHeight');

        if (previousHeight === newHeight) {
          reachedEnd = true;
        }
        count++;
      }
    };

    await scrollToBottom(page);
    await page.waitForSelector(item.selector.detail);

    await enqueueLinks({
      selector: item.selector.detail,
      label: `${item.label}-DETAIL`,
    });
  });

  // 详情页处理
  router.addHandler(`${item.label}-DETAIL`, async ({ request, page, log }) => {
    page.setDefaultTimeout(5000);
    log.debug(`Extracting data: ${request.url}`);

    await page.waitForSelector(item.selector.content);

    const details = await page.evaluate((url, item) => {
      return {
        url,
        title: document.querySelector(item.selector.title)?.innerText || '',
        author: document.querySelector(item.selector.author)?.innerText || '',
        modifiedDate: document.querySelector(item.selector.modifiedDate)?.innerText || '',
        hit: document.querySelector(item.selector.hit)?.innerText || '',
        readTime: document.querySelector(item.selector.readTime)?.innerText || '',
        description: document.querySelector(item.selector.description)?.innerText || '',
        content: document.querySelector(item.selector.content)?.innerText || '',
      };
    }, request.url, item);

    await dataset.pushData(details);
  });
});

router.addDefaultHandler(async ({ request, log }) => {
  log.warn(`Unhandled request: ${request.url}`);
});

4. 启动与监控

运行命令 npm start 即可启动爬虫。控制台日志会显示请求状态、错误信息及进度。

进阶：代理与 Session 管理

在高并发场景下，IP 封禁风险显著增加。引入代理服务和会话管理是保障稳定性的关键。

代理配置

import { ProxyConfiguration } from 'crawlee';

const proxyConfiguration = new ProxyConfiguration({
  proxyUrls: ['http://proxy-1.com', 'http://proxy-2.com'],
});

const crawler = new PuppeteerCrawler({
  proxyConfiguration,
  async requestHandler({ proxyInfo }) {
    console.log('Current Proxy:', proxyInfo.proxyUrl);
  },
});

会话池管理

使用 Session 池可以过滤失效代理，自动标记坏节点。

const crawler = new PuppeteerCrawler({
  proxyConfiguration,
  useSessionPool: true,
  sessionPoolOptions: { maxPoolSize: 100 },
  persistCookiesPerSession: true,
  async requestHandler({ page, session }) {
    const title = await page.title();
    if (title === 'Blocked') {
      session.retire();
    } else if (title.includes('Connection Error')) {
      session.markBad();
    }
  },
});

生产环境最佳实践

在实际落地时，除了基础功能，还需考虑以下方面以提升系统的健壮性。

1. 并发控制与限速

虽然 Crawlee 支持高并发，但过度请求容易触发反爬。建议根据目标网站的承受能力调整 maxConcurrency 和 maxRequestsPerMinute。对于敏感站点，可设置随机延迟，模拟人类阅读速度。

2. 数据存储优化

默认情况下，Crawlee 将数据存储为 JSON 文件。对于海量数据，建议接入数据库（如 MongoDB 或 PostgreSQL）。可以通过自定义 Dataset 实现数据导出，或使用 KeyValueStore 存储中间状态。

3. 异常恢复机制

爬虫运行时间可能较长，需防止进程意外退出导致任务丢失。Crawlee 的持久化队列会自动保存进度。此外，应配置外部监控告警，当失败率超过阈值时及时通知运维人员。

4. 合规性与道德规范

在爬取数据前，务必检查目标网站的 robots.txt 协议及用户服务条款。尊重版权，避免抓取个人隐私信息。合理设置请求频率，避免对目标服务器造成过大压力。

总结

本文详细介绍了如何利用 Crawlee 框架构建具备类人行为的爬虫系统。从 RAG 应用场景出发，讲解了无头浏览器、JS 渲染、代理轮换等关键技术点，并通过掘金案例演示了完整的开发流程。结合生产环境的最佳实践，开发者可以构建出高效、稳定且合规的数据采集方案，为大模型知识库的构建提供坚实的数据支撑。