本文介绍了使用 Python Scrapy 框架抓取论坛帖子的完整流程。内容包括环境搭建、Spider 编写、XPath 解析、数据管道处理、中间件配置及项目设置。通过示例代码展示了如何提取标题、URL 和内容，并处理翻页与递归请求。此外还补充了反爬策略应对、并发控制及法律合规建议，适合初学者快速上手网络爬虫开发。
本文旨在介绍如何使用 Python 的 Scrapy 框架快速构建一个网络爬虫，用于抓取论坛帖子的标题、URL 及正文内容。内容涵盖环境准备、项目结构、Spider 编写、数据解析、管道处理及中间件配置等核心环节。
确保已安装 Python 3.x 环境。推荐使用虚拟环境管理工具（如 venv 或 conda）隔离依赖。
python -m venv scrapy_env
source scrapy_env/bin/activate # Windows: scrapy_env\Scripts\activate
pip install scrapy
在项目根目录下执行以下命令初始化 Scrapy 工程：
scrapy startproject miao
这将生成如下目录结构：
miao/: 项目主目录
items.py: 定义数据模型middlewares.py: 定义请求/响应中间件pipelines.py: 定义数据处理管道settings.py: 全局配置文件spiders/: 存放 Spider 脚本在 spiders 文件夹下新建 nga_spider.py 文件。
定义继承自 scrapy.Spider 的类，指定名称和起始 URL。
import scrapy
from scrapy import Selector, Request
class NgaSpider(scrapy.Spider):
name = "nga_spider"
allowed_domains = ["bbs.ngacn.cc"]
start_urls = [
"http://bbs.ngacn.cc/thread.php?fid=406",
]
使用 parse 方法处理初始页面的 HTML。Scrapy 默认调用此函数解析 start_urls 返回的内容。
def parse(self, response):
selector = Selector(response)
# 提取 class 为 topic 的链接列表
content_list = selector.xpath("//*[@class='topic']")
for content in content_list:
# 提取帖子标题
title = content.xpath('string(.)').get()
# 提取帖子链接
url = self.start_urls[0].split('?')[0] + content.xpath('@href').get()
print(f"Title: {title}, URL: {url}")
# 递归抓取帖子详情
yield Request(url=url, callback=self.parse_topic)
注意：实际项目中建议使用 response.urljoin() 处理相对路径，并增加异常捕获逻辑。
定义 parse_topic 函数处理单个帖子的内容。
def parse_topic(self, response):
selector = Selector(response)
# 提取帖子正文内容，根据实际网站结构调整 XPath
content_list = selector.xpath("//*[@class='postcontent ubbcode']")
for content in content_list:
text = content.xpath('string(.)').get()
if text:
print(text)
若需抓取多页，可在 parse 中分析分页链接：
def parse(self, response):
# ... 现有逻辑 ...
next_page = response.css("a.next::attr(href)").get()
if next_page:
yield response.follow(next_page, callback=self.parse)
在 items.py 中定义数据结构。
from scrapy import Item, Field
class PostItem(Item):
title = Field()
url = Field()
author = Field()
content = Field()
在 pipelines.py 中处理数据，例如写入文件或数据库。
class FilePipeline(object):
def process_item(self, item, spider):
# 示例：将数据打印到控制台，实际可替换为 CSV 或 MySQL 写入
print(f"Processing: {item['title']}")
return item
修改 settings.py：
ITEM_PIPELINES = {
'miao.pipelines.FilePipeline': 300,
}
防止被目标网站识别为机器人。
class UserAgentMiddleware(object):
def process_request(self, request, spider):
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15"
]
request.headers.setdefault("User-Agent", random.choice(user_agents))
应对 IP 封禁策略。
class ProxyMiddleware(object):
def process_request(self, request, spider):
proxy = "http://127.0.0.1:8123"
request.meta["proxy"] = proxy
在 settings.py 中注册：
DOWNLOADER_MIDDLEWARES = {
'miao.middlewares.UserAgentMiddleware': 400,
'miao.middlewares.ProxyMiddleware': 401,
}
在 settings.py 中调整关键参数以平衡速度与稳定性。
# 请求延迟，避免对服务器造成压力
DOWNLOAD_DELAY = 2
# 随机化延迟
RANDOMIZE_DOWNLOAD_DELAY = True
# 并发请求数
CONCURRENT_REQUESTS = 16
# 单域名并发数
CONCURRENT_REQUESTS_PER_DOMAIN = 8
# 重试次数
RETRY_TIMES = 3
# 忽略错误状态码
IGNORE_HTTP_CODES = [403, 404]
若使用 PyCharm，可通过运行配置直接调试 Scrapy 项目：
scrapy/cmdline.py。crawl nga_spider。在爬取前务必检查目标网站的 robots.txt 文件，遵守其禁止爬取的规则。
设置合理的 DOWNLOAD_DELAY，避免高频请求导致 IP 被封禁或服务端拒绝服务。
仅抓取公开信息，不收集用户个人隐私数据，符合相关法律法规要求。
在 Pipeline 中加入日志记录，监控爬虫运行状态，便于排查失败原因。
本文详细讲解了 Scrapy 框架的核心组件及其协作流程。通过实例演示了从项目初始化到数据落地的完整链路。掌握这些基础知识后，开发者可根据具体需求扩展功能，如添加验证码识别、动态渲染支持等。建议在实战中持续优化代码结构，注重性能与合规性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online
通过删除不必要的空白来缩小和压缩JSON。 在线工具，JSON 压缩在线工具，online