Python 爬虫入门基础教程：流程、模块与框架详解

(3) Preview 就是网页源代码，包括 JSON 数据、HTML 网页、图片、二进制数据等。

二、基础模块

2.1 Requests

Requests 是 Python 实现的简单易用的 HTTP 库，是由 urllib 的升级而来。 开源地址：https://github.com/kennethreitz/requests 中文 API：http://docs.python-requests.org/zh_CN/latest/index.html

2.2 Re 正则表达式

在 Python 中使用内置的 re 模块来使用正则表达式。 缺点：处理数据不稳定、工作量大。

2.3 XPath

XPath（XML Path Language）是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。 在 Python 中主要使用 lxml 库来进行 XPath 获取（在框架中不使用 lxml，框架内直接使用 XPath 即可）。 lxml 是一个 HTML/XML 的解析器，主要的功能是如何解析和提取 HTML/XML 数据。 lxml 和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的 XPath 语法，来快速的定位特定元素以及节点信息。

2.4 BeautifulSoup

和 lxml 一样，Beautiful Soup 也是一个 HTML/XML 的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 使用 BeautifulSoup 需要导入 bs4 库。 缺点：相对正则和 XPath 处理速度慢。 优点：使用简单。

2.5 Json

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 在 Python 中主要使用 json 模块来处理 JSON 数据。

2.6 Threading

使用 threading 模块创建线程，直接从 threading.Thread 继承，然后重写__init__方法和 run 方法。

三、方法实例

3.1 GET 方法实例

import requests

url = 'https://example.com'
response = requests.get(url)
print(response.text)

3.2 POST 方法实例

import requests

url = 'https://example.com/login'
data = {'username': 'user', 'password': 'pass'}
response = requests.post(url, data=data)
print(response.text)

3.3 添加代理

import requests

proxies = {
    'http': 'http://127.0.0.1:8080',
    'https': 'http://127.0.0.1:8080'
}
response = requests.get('https://example.com', proxies=proxies)

3.4 获取 AJAX 类数据实例

通常需要通过开发者工具分析接口，直接请求 JSON 数据。

import requests
import json

url = 'https://api.example.com/data'
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)
data = response.json()
print(json.dumps(data, indent=4, ensure_ascii=False))

3.5 使用多线程实例

import threading
import requests

def fetch(url):
    response = requests.get(url)
    print(f'{url}: {response.status_code}')

urls = ['https://example.com']
threads = []
for url in urls:
    t = threading.Thread(target=fetch, args=(url,))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

四、爬虫框架

4.1 Scrapy 框架

Scrapy 是用纯 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 Scrapy 使用了 Twisted 异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

4.2 Scrapy 架构图

（此处省略架构图，参考官方文档）

4.3 Scrapy 主要组件

• Scrapy Engine（引擎）：负责 Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递等。
• Scheduler（调度器）：它负责接受引擎发送过来的 Request 请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
• Downloader（下载器）：负责下载 Scrapy Engine（引擎）发送的所有 Requests 请求，并将其获取到的 Responses 交还给 Scrapy Engine（引擎），由引擎交给 Spider 来处理。
• Spider（爬虫）：它负责处理所有 Responses，从中分析提取数据，获取 Item 字段需要的数据，并将需要跟进的 URL 提交给引擎，再次进入 Scheduler（调度器）。
• Item Pipeline（管道）：它负责处理 Spider 中获取到的 Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
• Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
• Spider Middlewares（Spider 中间件）：你可以理解为是一个可以自定扩展和操作引擎和 Spider 中间通信的功能组件（比如进入 Spider 的 Responses; 和从 Spider 出去的 Requests）。

4.4 Scrapy 的运作流程

1. 引擎询问 Spider 要处理哪个网站。
2. Spider 提供第一个 URL。
3. 引擎将 Request 交给调度器排序入队。
4. 调度器将 Request 交给引擎。
5. 引擎将 Request 交给下载器下载。
6. 下载器返回 Response 给引擎。
7. 引擎将 Response 交给 Spider 处理。
8. Spider 提取 Item 和新的 URL。
9. Item 交给管道，URL 交给调度器。
10. 循环直到获取完全部信息。

4.5 制作 Scrapy 爬虫 4 步曲

1. 新建爬虫项目：scrapy startproject mySpider
2. 明确目标（编写 items.py）：打开 mySpider 目录下的 items.py
3. 制作爬虫（spiders/xxspider.py）：scrapy genspider gushi365 "gushi365.com"
4. 存储内容（pipelines.py）：设计管道存储爬取内容

五、常用工具

5.1 Fiddler

Fiddler 是一款抓包工具，主要用于手机抓包及流量分析。

5.2 XPath Helper

XPath Helper 插件是一款免费的 Chrome 爬虫网页解析工具。可以帮助用户解决在获取 XPath 路径时无法正常定位等问题。

六、分布式爬虫

6.1 Scrapy-Redis

Scrapy-redis 是为了更方便地实现 Scrapy 分布式爬取，而提供了一些以 Redis 为基础的组件（pip install scrapy-redis）。

6.2 分布式策略

• Master 端（核心服务器）：搭建一个 Redis 数据库，不负责爬取，只负责 URL 指纹判重、Request 的分配，以及数据的存储。
• Slaver 端（爬虫程序执行端）：负责执行爬虫程序，运行过程中提交新的 Request 给 Master。