Python 爬虫入门：Requests 库十个小案例实战

案例 3：POST 方法提交数据

POST 通常用于提交表单或 API 数据。

import requests

response = requests.post("http://httpbin.org/post")
print(f"状态码：{response.status_code}")
print(response.text)

案例 4：PUT 方法更新资源

PUT 方法常用于更新服务器上的资源。

import requests

response = requests.put("http://httpbin.org/put")
print(f"状态码：{response.status_code}")
print(response.text)

案例 5：GET 请求 URL 传参（字符串拼接）

当参数较少时，可直接拼接到 URL 中。

import requests

# 使用 & 连接多个参数
url = "http://httpbin.org/get?name=hezhi&age=20"
response = requests.get(url)
print(f"状态码：{response.status_code}")
print(response.text)

案例 6：GET 请求参数传递（字典方式）

推荐方式，params 参数会自动将字典序列化为查询字符串。

import requests

data = {
    "name": "hezhi",
    "age": 20
}
response = requests.get("http://httpbin.org/get", params=data)
print(f"状态码：{response.status_code}")
print(response.text)

案例 7：POST 请求参数传递

POST 请求通常使用 data 参数传递表单数据，但此处演示 params 用法。

import requests

data = {
    "name": "hezhi",
    "age": 20
}
# 注意：POST 通常用 data 参数，这里演示 params 在 POST 中的行为
response = requests.post("http://httpbin.org/post", params=data)
print(f"状态码：{response.status_code}")
print(response.text)

案例 8：绕过反爬机制（设置 Headers）

许多网站会检测 User-Agent，未设置头部可能被拒绝访问。

import requests

# 不设置头部
response = requests.get("http://www.zhihu.com")
print(f"第一次访问状态码：{response.status_code}")

# 设置 User-Agent 伪装浏览器
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
response = requests.get("http://www.zhihu.com", headers=headers)
print(f"设置头部后状态码：{response.status_code}")
if response.status_code == 200:
    print("访问成功")

案例 9：爬取 HTML 并保存到本地

将响应内容写入文件时，需注意编码格式。

import requests

url = "http://www.baidu.com"
response = requests.get(url)

# 设置编码
response.encoding = "utf-8"

# 保存文件
file_path = "baidu.html"
with open(file_path, "w", encoding="utf-8") as f:
    f.write(response.text)

print(f"文件已保存至：{file_path}")

优化：使用 with open 语句可自动关闭文件，无需手动调用 close()。

案例 10：爬取图片并保存到本地

图片属于二进制数据，需使用 rb 模式或 wb 模式写入。

import requests

url = "https://www.baidu.com/img/baidu_jgylogo3.gif"
response = requests.get(url)

# 以二进制写入模式打开文件
with open("baidu_logo.gif", "wb") as f:
    f.write(response.content)

print("图片保存成功")

进阶技巧与注意事项

1. 异常处理

网络请求可能因超时、断网等原因失败，必须包裹在 try-except 块中。

import requests
from requests.exceptions import Timeout, ConnectionError

try:
    response = requests.get("http://example.com", timeout=5)
    response.raise_for_status()  # 检查 HTTP 错误
except Timeout:
    print("请求超时")
except ConnectionError:
    print("网络连接错误")
except Exception as e:
    print(f"发生未知错误：{e}")

2. Session 管理

使用 Session 对象可以跨请求保持 Cookie，适合需要登录的场景。

import requests

session = requests.Session()
# 发送请求，Cookie 会被自动保存在 session 中
response = session.get("http://example.com/login")
# 后续请求会自动携带之前的 Cookie
response = session.get("http://example.com/profile")
session.close()

3. 请求频率控制

频繁请求可能导致 IP 被封禁，建议使用 time.sleep 控制间隔。

import time
import requests

for i in range(5):
    requests.get("http://example.com")
    time.sleep(1)  # 每次请求间隔 1 秒

4. 法律与道德规范

• robots.txt：爬取前请查看目标网站的 robots.txt 协议。
• 版权保护：仅抓取公开数据，不得侵犯隐私或商业机密。
• 服务器负载：避免高频请求导致对方服务器瘫痪。

结语

本文通过十个实例涵盖了 requests 库的基础用法，从简单的 GET 请求到文件操作及反爬策略。掌握这些知识后，你可以进一步结合 BeautifulSoup 或 lxml 进行数据解析，构建更复杂的爬虫系统。在实际开发中，请务必遵守法律法规，文明爬取。