Python 爬虫入门指南：从基础到 Scrapy 框架

1. 登录窗口、文件上传等，信息都会被附加到请求体内。
2. 登录时，输入错误的用户名密码然后提交，就可以看到 POST 请求；正确登录后页面通常会跳转，无法捕捉到 POST。

1.3.2 Response

（1）响应状态码

• 200：代表成功
• 301：代表跳转
• 404：文件不存在
• 403：无权限访问
• 502：服务器错误

（2）Response Header 响应头需要注意的参数：Set-Cookie:BDSVRTM=0; path=/：可能有多个，是来告诉浏览器，把 Cookie 保存下来。

（3）Preview 就是网页源代码，包括 JSON 数据、HTML 图片、二进制数据等。

二、基础模块

2.1 Requests

Requests 是 Python 实现的简单易用的 HTTP 库，是由 urllib 的升级而来。

2.2 Re 正则表达式

在 Python 中使用内置的 re 模块来使用正则表达式。 缺点：处理数据不稳定、工作量大。

2.3 XPath

XPath（XML Path Language）是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。

在 Python 中主要使用 lxml 库来进行 XPath 获取（在框架中不使用 lxml，框架内直接使用 XPath 即可）。

lxml 是一个 HTML/XML 的解析器，主要的功能是如何解析和提取 HTML/XML 数据。 lxml 和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的 XPath 语法，来快速的定位特定元素以及节点信息。

2.4 BeautifulSoup

和 lxml 一样，Beautiful Soup 也是一个 HTML/XML 的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。

使用 BeautifulSoup 需要导入 bs4 库。 缺点：相对正则和 XPath 处理速度慢。 优点：使用简单。

2.5 Json

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

在 Python 中主要使用 json 模块来处理 JSON 数据。

2.6 Threading

使用 threading 模块创建线程，直接从 threading.Thread 继承，然后重写 __init__ 方法和 run 方法。

三、方法实例

3.1 Get 方法实例

import requests

url = 'https://www.example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

try:
    response = requests.get(url, headers=headers, timeout=10)
    if response.status_code == 200:
        print(response.text[:500]) # 打印前 500 字符
    else:
        print(f'Failed: {response.status_code}')
except Exception as e:
    print(f'Error: {e}')

3.2 Post 方法实例

import requests

url = 'https://www.example.com/login'
data = {
    'username': 'test_user',
    'password': 'secure_password'
}
headers = {
    'Content-Type': 'application/x-www-form-urlencoded'
}

response = requests.post(url, data=data, headers=headers)
print(response.json()) # 假设返回 JSON

3.3 添加代理

import requests

proxies = {
    'http': 'http://127.0.0.1:8080',
    'https': 'http://127.0.0.1:8080'
}

response = requests.get('https://www.example.com', proxies=proxies)
print(response.status_code)

3.4 获取 Ajax 类数据实例

对于 Ajax 加载的数据，通常可以直接观察 Network 面板中的 XHR 请求。

# 假设 API 地址为 /api/data
api_url = 'https://www.example.com/api/data?page=1'
response = requests.get(api_url, headers=headers)
data = response.json()
for item in data['list']:
    print(item['title'])

3.5 使用多线程实例

import threading
import requests

class SpiderThread(threading.Thread):
    def __init__(self, url):
        super().__init__()
        self.url = url

    def run(self):
        try:
            resp = requests.get(self.url, timeout=5)
            print(f'{self.url} - {resp.status_code}')
        except:
            pass

urls = ['https://www.example.com/page1', 'https://www.example.com/page2']
threads = []
for url in urls:
    t = SpiderThread(url)
    threads.append(t)
    t.start()

for t in threads:
    t.join()

四、爬虫框架

4.1 Scrapy 框架

Scrapy 是用纯 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

Scrapy 使用了 Twisted 异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

4.2 Scrapy 架构图

（此处省略架构图，实际开发请参考官方文档）

4.3 Scrapy 主要组件

1. Scrapy Engine(引擎)：负责 Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递等。
2. Scheduler(调度器)：它负责接受引擎发送过来的 Request 请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
3. Downloader（下载器）：负责下载 Scrapy Engine(引擎) 发送的所有 Requests 请求，并将其获取到的 Responses 交还给 Scrapy Engine(引擎)，由引擎交给 Spider 来处理。
4. Spider（爬虫）：它负责处理所有 Responses，从中分析提取数据，获取 Item 字段需要的数据，并将需要跟进的 URL 提交给引擎，再次进入 Scheduler(调度器)。
5. Item Pipeline(管道)：它负责处理 Spider 中获取到的 Item，并进行后期处理（详细分析、过滤、存储等）的地方。
6. Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
7. Spider Middlewares（Spider 中间件）：你可以理解为是一个可以自定扩展和操作引擎和 Spider 中间通信的功能组件（比如进入 Spider 的 Responses; 和从 Spider 出去的 Requests）。

4.4 Scrapy 的运作流程

1. 引擎询问 Spider 要处理哪一个网站。
2. Spider 提供第一个需要处理的 URL。
3. 引擎将 Request 交给调度器排序入队。
4. 调度器将处理好的 Request 返回给引擎。
5. 引擎指示下载器下载 Request。
6. 下载器返回 Response 给引擎，再交给 Spider 处理。
7. Spider 处理完毕数据之后，对于需要跟进的 URL 提交给引擎，获取到的 Item 数据交给管道。
8. 循环直到获取完全部信息。

4.5 制作 Scrapy 爬虫 4 步曲

1. 新建爬虫项目

   scrapy startproject mySpider
   

2. 明确目标（编写 items.py） 打开 mySpider 目录下的 items.py，定义数据结构。
3. 制作爬虫（spiders/xxspider.py）

   scrapy genspider gushi365 "gushi365.com"
   

4. 存储内容（pipelines.py） 设计管道存储爬取内容，如存入 MySQL 或 MongoDB。

五、常用工具

5.1 Fiddler

Fiddler 是一款抓包工具，主要用于手机抓包及 HTTP 流量监控。

5.2 XPath Helper

XPath Helper 插件是一款免费的 Chrome 爬虫网页解析工具。可以帮助用户解决在获取 XPath 路径时无法正常定位等问题。

安装和使用步骤：

1. 在 Chrome 应用商店搜索 XPath Helper。
2. 点击添加至 Chrome。
3. 打开任意网页，粘贴 HTML 源码进行测试。

六、分布式爬虫

6.1 Scrapy-Redis

Scrapy-redis 是为了更方便地实现 Scrapy 分布式爬取，而提供了一些以 Redis 为基础的组件。

安装命令：pip install scrapy-redis

6.2 分布式策略

Master 端 (核心服务器)：搭建一个 Redis 数据库，不负责爬取，只负责 URL 指纹判重、Request 的分配，以及数据的存储。

通过共享 Redis 队列，多台爬虫节点可以同时工作，提高采集效率。