对比了 Scrapy、BeautifulSoup、PyQuery、Requests-HTML 和 Selenium 五款 Python 爬虫框架。Scrapy 适合大规模异步抓取，但学习曲线陡峭；BeautifulSoup 解析简单但非完整框架；PyQuery 提供 jQuery 风格 API；Requests-HTML 支持 JS 渲染且易用；Selenium 模拟浏览器行为强但资源消耗大。选择时需考虑数据规模、性能需求及网页特性，并严格遵守 Robots 协议及相关法律法规，注意频率控制与隐私保护。
Python 语言拥有丰富的第三方库，使其成为最流行的网络爬虫开发语言之一。选择合适的爬虫框架能显著提升开发效率与数据获取能力。本文将深入探讨 5 个常见的 Python 爬虫框架，分析其核心特性、优缺点及适用场景，并提供选型建议与合规指引。
Scrapy 是 Python 爬虫领域最著名的开源框架之一。它是一个快速、高效、可扩展的爬虫框架，内置了强大的 Selector 和异步处理机制（Twisted），能够快速高效地爬取大量数据。
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.css('span small::text').get(),
'tags': quote.css('div.tags a.tag::text').getall(),
}
next_page = response.css('li.next a::attr(href)').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
BeautifulSoup 是 Python 最流行的 HTML/XML 解析库之一。它不是完整的爬虫框架，而是配合 requests 等库使用的解析工具，提供了简单的方法来处理解析树。
from bs4 import BeautifulSoup
import requests
url = 'http://quotes.toscrape.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
for quote in soup.find_all('div', class_='quote'):
print(quote.find('span', class_='text').text)
print(quote.find('small', class_='author').text)
tags = quote.find('div', class_='tags').find_all('a', class_='tag')
for tag in tags:
print(tag.text)
PyQuery 是 jQuery 在 Python 中的实现。它允许开发者使用熟悉的 CSS 选择器语法来解析 HTML 和 XML 文档，并提供了链式调用 API。
from pyquery import PyQuery as pq
import requests
url = 'http://quotes.toscrape.com/'
response = requests.get(url)
doc = pq(response.text)
for quote in doc('div.quote').items():
print(quote('span.text').text())
print(quote('small.author').text())
tags = quote('div.tags a.tag')
for tag in tags:
print(pq(tag).text())
Requests-HTML 是基于 Requests 和 PyQuery 的轻量级爬虫库。它封装了 Requests 的功能，并使用 PyQuery 进行数据解析，同时增加了对 JavaScript 渲染的支持。
from requests_html import HTMLSession
url = 'http://quotes.toscrape.com/'
session = HTMLSession()
response = session.get(url)
for quote in response.html.find('div.quote'):
print(quote.find('span.text', first=True).text)
print(quote.find('small.author', first=True).text)
tags = quote.find('div.tags a.tag')
for tag in tags:
print(tag.text)
Selenium 是一个用于 Web 应用程序测试的工具，广泛用于模拟用户行为。在爬虫领域，它是处理强动态网页和反爬机制的利器。
from selenium import webdriver
from selenium.webdriver.common.by import By
url = 'http://quotes.toscrape.com/'
driver = webdriver.Chrome()
driver.get(url)
for quote in driver.find_elements(By.CSS_SELECTOR, 'div.quote'):
text = quote.find_element(By.CSS_SELECTOR, 'span.text').text
author = quote.find_element(By.CSS_SELECTOR, 'small.author').text
print(text, author)
driver.quit()
| 框架 | 并发能力 | JS 渲染 | 学习难度 | 适用场景 |
|---|---|---|---|---|
| Scrapy | 高 (异步) | 弱 | 高 | 大规模结构化数据抓取 |
| BeautifulSoup | 低 (同步) | 无 | 低 | 小批量静态页面解析 |
| PyQuery | 低 (同步) | 无 | 中 | 习惯 jQuery 语法的开发者 |
| Requests-HTML | 低 (同步) | 中 | 低 | 简单动态页面抓取 |
| Selenium | 低 (同步) | 强 | 中 | 强反爬或复杂交互页面 |
在选择爬虫框架时，应综合考虑以下因素：
爬虫开发必须遵守法律法规及目标网站的 robots.txt 协议：
本文介绍了 5 个常见的 Python 爬虫框架及其技术细节。每个框架都有其独特的特点，没有绝对的'最好'，只有'最合适'。开发者应根据具体的项目需求、技术储备及合规要求，选择最适合的解决方案。随着 Web 技术的发展，Playwright 等新一代工具也在逐渐兴起，建议持续关注相关生态的动态变化。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online