Python Requests 爬虫入门实战
本文介绍使用 Python requests 库进行网络爬虫的基础操作，涵盖 GET 与 POST 请求方法、参数传递、响应对象处理及文件保存。同时讲解如何通过设置 User-Agent 头部信息绕过基础反爬机制，并补充了异常处理、Session 会话管理及基本的 HTML 解析技巧。
1. 环境准备
首先确保已安装 Python 3.x 环境，并通过 pip 安装 requests 库：
pip install requests
若需解析 HTML 内容，建议额外安装 BeautifulSoup4：
pip install beautifulsoup4
2. 基础请求：GET 与 POST
2.1 GET 请求示例
发送 GET 请求获取网页内容，并处理编码问题。
import requests
url = "http://www.baidu.com"
response = requests.get(url)
# 自动识别编码或手动指定
response.encoding = response.apparent_encoding
print(f"状态码：{response.status_code}")
print(f"响应文本长度：{len(response.text)}")
2.2 POST 请求示例
向服务器提交数据通常使用 POST 方法。
import requests
url = "http://httpbin.org/post"
data = {
"key": "value",
"number": 123
}
response = requests.post(url, data=data)
print(f"状态码：{response.status_code}")
print(response.text)
3. 参数传递与 Headers
3.1 URL 传参
在 GET 请求中，可以通过字典形式传递参数，库会自动拼接 URL。
import requests
params = {"name": "hezhi", "age": 20}
response = requests.get("http://httpbin.org/get", params=params)
print(response.url) # 查看实际请求的完整 URL
3.2 设置请求头（Headers）
许多网站会检查 User-Agent 来区分浏览器和爬虫。伪造浏览器头部是绕过基础反爬的关键。
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
response = requests.get("https://www.zhihu.com", headers=headers)
print(f"状态码：{response.status_code}")
4. 响应数据处理与文件保存
4.1 文本与二进制
response.text: 返回解码后的字符串。response.content: 返回原始字节流，适合保存图片或文件。
4.2 保存图片示例
import requests
url = "https://www.baidu.com/img/baidu_jgylogo3.gif"
response = requests.get(url)
if response.status_code == 200:
with open("baidu_logo.gif", "wb") as f:
f.write(response.content)
print("图片保存成功")
else:
print("下载失败")
5. 进阶技巧
5.1 Session 对象管理 Cookie
对于需要登录或多步骤交互的网站，使用 Session 可以保持 Cookie 状态。
import requests
session = requests.Session()
headers = {"User-Agent": "Mozilla/5.0..."} # 自定义 UA
# 第一步：获取登录页，携带 Cookie
resp1 = session.get("https://example.com/login", headers=headers)
cookies = resp1.cookies
# 第二步：提交登录表单
login_data = {"username": "user", "password": "pass"}
session.post("https://example.com/login", data=login_data, cookies=cookies)
# 第三步：访问受保护页面
profile = session.get("https://example.com/profile")
print(profile.text)
5.2 异常处理
网络请求不稳定，必须加入异常捕获。
import requests
from requests.exceptions import Timeout, ConnectionError
try:
response = requests.get("http://www.baidu.com", timeout=5)
response.raise_for_status() # 如果状态码不是 200，抛出 HTTPError
except Timeout:
print("请求超时")
except ConnectionError:
print("网络连接错误")
except Exception as e:
print(f"发生未知错误：{e}")
5.3 简单的 HTML 解析
使用 BeautifulSoup 提取特定标签内容。
from bs4 import BeautifulSoup
html_doc = """
<html><head><title>Sample</title></head>
<body><p id="notice">Notice!</p></body></html>
"""
soup = BeautifulSoup(html_doc, 'lxml')
print(soup.title.string) # 输出：Sample
print(soup.p['id']) # 输出：notice
6. 法律与道德规范
编写爬虫时请遵守相关法律法规及目标网站的 robots.txt 协议。避免高频请求导致对方服务器压力过大，严禁抓取个人隐私数据或用于非法用途。技术应当服务于合法合规的场景。
7. 总结
通过本教程，我们掌握了 requests 库的核心用法，包括基础请求、参数构造、头部伪装、文件读写以及 Session 管理。在实际开发中，还需结合代理 IP、验证码识别等技术应对更复杂的反爬策略。
