Python 爬虫进阶：使用 Scrapy 库进行数据提取和处理

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            item = QuoteItem()
            item['text'] = quote.css('span.text::text').get()
            item['author'] = quote.css('span small::text').get()
            yield item

三、数据处理：Pipelines

Scrapy 使用数据管道（pipelines）来处理爬虫从网页中抓取的 Item。当爬虫生成一个 Item，它将被发送到 Item Pipeline 进行处理。

Item Pipeline 是一些按照执行顺序排列的类，每个类都是一个数据处理单元。每个 Item Pipeline 组件都是一个 Python 类，必须实现一个 process_item 方法。这个方法必须返回一个 Item 对象，或者抛出 DropItem 异常，被丢弃的 item 将不会被之后的 pipeline 组件所处理。

1. 保存数据到文件

例如，我们可以添加一个 Pipeline，将收集的引用保存到 JSON 文件中：

import json

class JsonWriterPipeline(object):

    def open_spider(self, spider):
        self.file = open('quotes.jl', 'w', encoding='utf-8')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line)
        return item

2. 启用 Pipeline

你需要在项目的设置文件（settings.py）中启用你的 Pipeline：

ITEM_PIPELINES = {
   'tutorial.pipelines.JsonWriterPipeline': 1,
}

数字表示优先级，数字越小优先级越高。

3. 数据验证与清洗

在实际开发中，通常还需要对数据进行验证。例如，检查字段是否为空：

class ValidationPipeline:
    def process_item(self, item, spider):
        if not item.get('text'):
            raise Exception("Missing text field")
        return item

四、运行与导出

完成配置后，可以通过命令行运行爬虫：

scrapy crawl quotes

Scrapy 支持直接导出多种格式，无需编写额外的 Pipeline 代码即可将结果输出为 JSON、CSV 或 XML：

scrapy crawl quotes -o output.json
scrapy crawl quotes -o output.csv

这种方式更加便捷，适合快速测试和临时数据导出。

五、总结

本文详细介绍了 Scrapy 框架中的数据提取与处理流程。通过 Selectors 灵活定位页面元素，利用 Item 规范数据结构，并通过 Pipeline 实现数据的清洗、验证和持久化。掌握这些核心机制，能够帮助开发者构建稳定、高效的网络爬虫系统。