在数据驱动的时代，结构化信息已成为企业决策、AI 训练与市场分析的核心资源。网页抓取（Web Scraping）作为从非结构化网页中提取结构化数据的关键技术，广泛应用于电商、金融、舆情监测、学术研究等领域。
本文将系统解析网页抓取的工作原理、工具链、反爬对抗策略与法律边界，并提供可落地的工程建议。
一、什么是网页抓取？
网页抓取是指通过程序自动访问网页，解析 HTML/JSON 内容，并将目标数据提取、转换为结构化格式（如 CSV、数据库记录）的过程。
与网络爬虫（Crawler）的区别：爬虫：广度优先遍历全站链接（如搜索引擎）；抓取：深度聚焦特定页面的数据字段（如商品价格、评论）。
典型应用场景包括：
- 电商比价（Amazon、Shopee 商品监控）
- 招聘数据聚合（职位趋势分析）
- 社交媒体舆情监测（公开评论情感分析）
- 学术数据采集（论文元数据批量下载）
二、网页抓取的核心工作流程
1. 发送 HTTP 请求
模拟浏览器行为，向目标服务器发起请求：
import requests
resp = requests.get(
"https://example.com/product",
headers={"User-Agent": "Mozilla/5.0 ..."},
timeout=10
)
- GET：获取静态页面；
- POST：提交表单或 API 参数。
2. 处理响应内容
- 静态页面：HTML 直接包含数据，解析简单；
- 动态页面：数据由 JavaScript 渲染（如 React/Vue 应用），需额外处理。
判断方法：禁用 JS 后查看页面是否仍有目标数据。
3. 数据解析（Parsing）
使用选择器精准定位元素：
| 方法 | 适用场景 | 示例 |
|---|---|---|
| CSS Selector | 结构清晰的现代网站 | div.price > span |
| XPath | 复杂嵌套或无 class 的页面 | //div[@id='product']/span[2] |
| 正则表达式 | 提取 JSON 片段或特定模式 | r'"price":(\d+)' |
建议：优先使用 CSS/XPath，避免过度依赖正则（易因 HTML 变动失效）。
4. 数据存储
将结果持久化：
- 轻量级：CSV / Excel
- 结构化：MySQL / PostgreSQL
- 非结构化：MongoDB / Elasticsearch
