Python 爬虫基础知识与 Requests 库使用指南

在 Python 中，requests 是最常用的 HTTP 请求库。它封装了底层复杂的网络细节，提供了简洁的 API。

安装与引入

如果本地未安装，可通过终端命令安装：

pip install requests

在代码中引入库：

import requests

requests.get() 方法

requests.get() 用于发送 GET 请求。基本用法如下：

# 发送请求，参数为 URL
res = requests.get('https://example.com')

• URL：统一资源定位符，指示网页在网络上的地址。
• 返回值：一个 Response 对象，包含服务器返回的所有信息。

Response 对象的常用属性

Response 对象是处理数据的核心。以下是四个最常用的属性：

1. status_code（状态码）

检查请求是否成功。常见的状态码包括：

• 200：请求成功。
• 404：资源未找到。
• 500：服务器内部错误。
• 403：禁止访问。

print(res.status_code)

2. content（二进制内容）

返回响应的二进制数据，适用于下载图片、音频、视频等非文本文件。

# 下载图片示例
pic = res.content
with open('image.jpg', 'wb') as f:
    f.write(pic)

3. text（文本内容）

返回响应的文本内容，适用于网页源代码、API 返回的 JSON 字符串等。

# 获取小说内容
novel = res.text
print(novel[:800])

注意：如果编码识别不正确，可能会出现乱码。

4. encoding（编码设置）

当 text 出现乱码时，可手动指定编码格式。

res.encoding = 'utf-8'
novel = res.text

进阶：Headers 与 User-Agent

许多网站会检测请求头中的 User-Agent，如果检测到是 Python 脚本而非真实浏览器，可能会拒绝服务（返回 403）。因此，设置请求头非常重要。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
res = requests.get('https://example.com', headers=headers)

进阶：异常处理

网络请求可能因超时、断网等原因失败，必须添加异常处理机制。

try:
    res = requests.get(url, timeout=10)
    res.raise_for_status()  # 如果状态码不是 200，抛出异常
except Exception as e:
    print(f"请求失败：{e}")

进阶：数据存储

除了保存为文本，还可以将数据保存为 CSV 或 JSON 格式，方便数据分析。

保存为 CSV：

import csv

with open('data.csv', 'w', newline='', encoding='utf-8-sig') as f:
    writer = csv.writer(f)
    writer.writerow(['Title', 'Price'])
    writer.writerow(['Example Book', '100'])

保存为 JSON：

import json

data = {'name': 'Spider', 'version': '1.0'}
with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

总结

本文介绍了爬虫的基本概念、浏览器与爬虫的工作流程差异，并详细讲解了如何使用 Python 的 requests 库获取数据、解析响应以及处理常见编码问题。掌握了这些基础知识后，你可以进一步学习正则表达式、BeautifulSoup、XPath 等解析工具，构建更强大的爬虫系统。

在实际开发中，请遵守相关法律法规及网站的 robots.txt 协议，合理控制请求频率，避免对目标服务器造成过大压力。