Python 爬虫通过模拟浏览器请求获取网页数据。本文涵盖 HTTP 协议基础、Requests 库使用、正则与 XPath 解析、BeautifulSoup 及 Scrapy 框架架构。内容包含 GET/POST 请求示例、代理设置、多线程处理及分布式爬虫原理，适合初学者系统学习网络数据采集技术。
爬虫（Spider，又称网络爬虫），是指向网站或网络发起请求，获取资源后分析并提取有用数据的程序。
从技术层面来说，就是通过程序模拟浏览器请求站点的行为，把站点返回的 HTML 代码、JSON 数据、二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用。
用户获取网络数据的方式主要有两种：
爬虫要做的就是方式 2。
使用 HTTP 库向目标站点发起请求，即发送一个 Request。Request 包含：请求头、请求体等。
注意：基础 Request 模块缺陷是不能执行 JS 和 CSS 代码，对于动态加载页面可能需要其他方案。
如果服务器能正常响应，则会得到一个 Response。Response 包含：HTML、JSON、图片、视频等。
数据存储形式包括：数据库（MySQL、MongoDB、Redis）或 文件的形式。
HTTP 协议
PS：浏览器在接收 Response 后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收 Response 后，是要提取其中的有用数据。
请求方式 常见的请求方式：GET / POST。
请求的 URL URL（全球统一资源定位符），用来定义互联网上一个唯一的资源，例如：一张图片、一个文件、一段视频都可以用 URL 唯一确定。
请求头
请求头需要注意的参数：
请求体
PS：
（1）响应状态码
（2）Response Header
响应头需要注意的参数：Set-Cookie:BDSVRTM=0; path=/：可能有多个，是来告诉浏览器，把 Cookie 保存下来。
（3）Preview 就是网页源代码，包括 JSON 数据、HTML 图片、二进制数据等。
Requests 是 Python 实现的简单易用的 HTTP 库，是由 urllib 的升级而来。
在 Python 中使用内置的 re 模块来使用正则表达式。
缺点：处理数据不稳定、工作量大。
XPath（XML Path Language）是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。
在 Python 中主要使用 lxml 库来进行 XPath 获取（在框架中不使用 lxml，框架内直接使用 XPath 即可）。
lxml 是一个 HTML/XML 的解析器，主要的功能是如何解析和提取 HTML/XML 数据。
lxml 和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的 XPath 语法，来快速的定位特定元素以及节点信息。
和 lxml 一样，Beautiful Soup 也是一个 HTML/XML 的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。
使用 BeautifulSoup 需要导入 bs4 库。
缺点：相对正则和 XPath 处理速度慢。
优点：使用简单。
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。
在 Python 中主要使用 json 模块来处理 JSON 数据。
使用 threading 模块创建线程，直接从 threading.Thread 继承，然后重写 __init__ 方法和 run 方法。
import requests
url = 'https://www.example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
try:
response = requests.get(url, headers=headers, timeout=10)
if response.status_code == 200:
print(response.text[:500]) # 打印前 500 字符
else:
print(f'Failed: {response.status_code}')
except Exception as e:
print(f'Error: {e}')
import requests
url = 'https://www.example.com/login'
data = {
'username': 'test_user',
'password': 'secure_password'
}
headers = {
'Content-Type': 'application/x-www-form-urlencoded'
}
response = requests.post(url, data=data, headers=headers)
print(response.json()) # 假设返回 JSON
import requests
proxies = {
'http': 'http://127.0.0.1:8080',
'https': 'http://127.0.0.1:8080'
}
response = requests.get('https://www.example.com', proxies=proxies)
print(response.status_code)
对于 Ajax 加载的数据，通常可以直接观察 Network 面板中的 XHR 请求。
# 假设 API 地址为 /api/data
api_url = 'https://www.example.com/api/data?page=1'
response = requests.get(api_url, headers=headers)
data = response.json()
for item in data['list']:
print(item['title'])
import threading
import requests
class SpiderThread(threading.Thread):
def __init__(self, url):
super().__init__()
self.url = url
def run(self):
try:
resp = requests.get(self.url, timeout=5)
print(f'{self.url} - {resp.status_code}')
except:
pass
urls = ['https://www.example.com/page1', 'https://www.example.com/page2']
threads = []
for url in urls:
t = SpiderThread(url)
threads.append(t)
t.start()
for t in threads:
t.join()
Scrapy 是用纯 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
Scrapy 使用了 Twisted 异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。
（此处省略架构图，实际开发请参考官方文档）
scrapy startproject mySpider
mySpider 目录下的 items.py，定义数据结构。scrapy genspider gushi365 "gushi365.com"
Fiddler 是一款抓包工具，主要用于手机抓包及 HTTP 流量监控。
XPath Helper 插件是一款免费的 Chrome 爬虫网页解析工具。可以帮助用户解决在获取 XPath 路径时无法正常定位等问题。
安装和使用步骤：
XPath Helper。Scrapy-redis 是为了更方便地实现 Scrapy 分布式爬取，而提供了一些以 Redis 为基础的组件。
安装命令：pip install scrapy-redis
Master 端 (核心服务器)：搭建一个 Redis 数据库，不负责爬取，只负责 URL 指纹判重、Request 的分配，以及数据的存储。
通过共享 Redis 队列，多台爬虫节点可以同时工作，提高采集效率。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online