Python Requests 网络爬虫基础与实战

什么是 JSON

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。它基于 JavaScript 编程语言的一个子集，但是它是独立于语言的。

JSON 是构建在两种结构之上的：

1. 键值对：数据以 名称/值 对的形式存储，其中名称是一个字符串，而值可以是字符串、数字、数组、布尔值或另一个 JSON 对象。
2. 数组：数据以有序的列表形式存储。

一个典型的 JSON 对象示例如下：

{
  "name": "John Doe",
  "age": 30,
  "is_student": false,
  "hobbies": ["reading", "gaming", "sports"],
  "address": {
    "street": "123 Main St",
    "city": "Anytown",
    "state": "CA",
    "zip": "12345"
  }
}

requests.Response 对象的属性和方法

1. 基本响应信息

• r.status_code：返回响应状态码（如 200、404、500 等），用于判断请求是否成功。
• r.reason：返回响应状态码的文本描述（如 OK、Not Found 等）。
• r.url：返回实际请求的 URL（可能经过重定向后的最终 URL）。

2. 响应内容

• r.raw：返回原始响应体，可以通过 r.raw.read() 读取，适合处理二进制数据或流式响应。
• r.content：以字节方式返回响应体，需要手动解码，适合处理二进制文件（如图片、视频）。
• r.text：以字符串方式返回响应体，会自动根据响应头的 Content-Type 或 Content-Encoding 解码，适合处理文本内容（如 HTML、JSON）。
• r.json()：将响应体解析为 JSON 对象。
• r.encoding：返回响应的编码格式（如 utf-8）。
• r.apparent_encoding：基于响应内容分析得出的编码格式，当 r.encoding 为空或不准确时作为备选。

3. 响应头和 Cookie

• r.headers：以字典形式返回响应头，字典键不区分大小写。
• r.cookies：返回请求后的 Cookie 对象。
• r.links：返回响应头中的 Link 字段内容，以字典形式存储。

4. 重定向和跳转

• r.history：返回一个包含所有中间跳转响应的列表。
• r.is_redirect：判断响应是否是重定向（如 301、302 状态码）。
• r.is_permanent_redirect：判断响应是否是永久重定向（301 状态码）。
• r.next：返回下一个响应对象（如果存在重定向）。

5. 性能和资源管理

• r.elapsed：返回从发送请求到收到响应的总耗时（timedelta 对象）。
• r.close()：关闭响应对象，释放资源。

6. 迭代和流式处理

• r.iter_content(chunk_size=1, decode_unicode=False)：以迭代的方式逐块读取响应内容，适合处理大文件。
• r.iter_lines(decode_unicode=False, chunk_size=512)：以迭代的方式逐行读取响应内容，适合处理文本数据。

7. 请求信息

• r.request：返回发送的请求对象（requests.PreparedRequest）。

8. 异常处理

• r.raise_for_status()：如果响应状态码表示请求失败（非 200 响应），则抛出异常。

提交复杂的请求

在进行网络爬虫开发或与 Web API 交互时，我们常常需要对 HTTP 请求进行定制化处理。

一、添加请求头

通过设置请求头，可以模拟不同的浏览器或客户端行为。

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br"
}

response = requests.get("https://example.com", headers=headers)
print(response.text)

二、使用代理 IP

Requests 库支持使用代理 IP，只需设置 proxies 参数即可。

import requests

proxies = {
    "http": "http://123.45.67.89:8080",
    "https": "https://123.45.67.89:8080"
}

response = requests.get("https://example.com", proxies=proxies)
print(response.text)

三、证书验证

默认情况下，Requests 库会对 HTTPS 证书进行验证。

关闭证书验证

import requests
response = requests.get("https://example.com", verify=False)
print(response.text)

使用自定义证书文件

import requests
response = requests.get("https://example.com", verify="/path/to/certificate.pem")
print(response.text)

四、超时设置

为了避免程序无限等待，可以通过设置超时时间来限制请求的等待时间。

import requests

try:
    response = requests.get("https://example.com", timeout=5)
    print(response.text)
except requests.exceptions.Timeout:
    print("请求超时")

五、使用 Cookies

Cookies 是服务器存储在客户端的一小段文本信息。

从字符串转换 Cookies

import requests

temp_cookies = "cookie1=value1; cookie2=value2"
cookies = {}
for cookie in temp_cookies.split("; "):
    key, value = cookie.split("=")
    cookies[key] = value

response = requests.get("https://example.com", cookies=cookies)
print(response.text)

使用 RequestsCookieJar 对象

import requests

response = requests.get("https://example.com")
cookies = response.cookies
print(cookies)

response = requests.get("https://example.com", cookies=cookies)
print(response.text)

Cookies 的读写操作

import json

# 写入文件
with open("cookies.json", "w") as f:
    json.dump(cookies, f)

# 读取文件
with open("cookies.json", "r") as f:
    cookies = json.load(f)
print(cookies)

下载与上传文件

文件下载

import requests

url = 'https://www.python.org/static/img/python-logo.png'
r = requests.get(url)

if r.status_code == 200:
    with open('python.jpg', 'wb') as f:
        f.write(r.content)
    print("图片已成功下载并保存为 python.jpg")
else:
    print("请求失败，状态码：", r.status_code)

文件上传

文件上传的逻辑是把数据以字节流的形式上传到服务器上。难点在于服务器接收规则不同。

分析请求

首先通过抓包工具来分析发布过程中的网络请求信息。

1. 访问目标网站并准备抓包。
2. 使用抓包工具捕获网络请求。
3. 查看抓取的请求信息，包括请求的 URL、请求方法、请求头、请求体等。

从图得知，该请求方式是 POST，QueryString 是 POST 的请求参数 data，Content-type 是上传文件。

代码实现如下：

url = 'https://weibo.cn/imblog/sendmblog?rl=0&st=bd6702'
cookies = {'xxx': 'xxx'}
files = {
    'content': (None, 'Python 爬虫'),
    'pic': ('pic', open('test.png', 'rb')),  # 注意：实际使用时需确保文件路径正确
    'visible': (None, '0')
}
r = requests.post(url, files=files, cookies=cookies)
print(r.status_code)

POST 数据对象是以文件为主的，上传文件时使用 files 参数作为请求参数。files 也是以字典形式传递的，每个 Content-Disposition 为字典的键值对，Content-Disposition 的 name 为字典的键，value 为字典的值。