Python Requests 爬虫库核心功能与生态对比

设置请求头 (Headers)

许多网站会检测 User-Agent 或其他头部信息以识别爬虫。设置合理的 Headers 可以模拟浏览器行为。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Referer': 'https://www.google.com/'
}
response = requests.get('https://example.com', headers=headers)

高级特性与应用

会话管理 (Session)

Session 对象允许跨请求持久化某些参数，例如 Cookies。这对于需要登录或维持状态的爬虫任务至关重要。

s = requests.Session()
s.headers.update({'User-Agent': 'MyBot/1.0'})

# 第一次请求，服务器设置 Cookie
r = s.get('https://example.com/login')

# 第二次请求，自动携带 Cookie
r = s.get('https://example.com/dashboard')
print(r.text)

代理支持

为了隐藏真实 IP 或绕过地域限制，可以使用代理服务器。requests 支持 HTTP 和 SOCKS 代理。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080'
}

try:
    response = requests.get('https://www.google.com', proxies=proxies, timeout=10)
except requests.exceptions.ProxyError as e:
    print(f'代理错误：{e}')

超时与异常处理

网络请求可能因各种原因失败（超时、连接拒绝、DNS 解析失败）。必须使用 try-except 块捕获异常，保证程序健壮性。

import requests
from requests.exceptions import Timeout, ConnectionError, HTTPError

try:
    response = requests.get('https://example.com', timeout=5)
    response.raise_for_status()  # 如果状态码不是 200-299，抛出异常
except Timeout:
    print('请求超时')
except ConnectionError:
    print('网络连接错误')
except HTTPError as e:
    print(f'HTTP 错误：{e}')

文件上传与下载

下载文件

下载大文件时，建议使用流式传输 (stream=True) 以避免一次性加载到内存。

with requests.get('https://example.com/largefile.zip', stream=True) as r:
    r.raise_for_status()
    with open('downloaded_file.zip', 'wb') as f:
        for chunk in r.iter_content(chunk_size=8192):
            if chunk:
                f.write(chunk)

上传文件

使用 files 参数上传本地文件。

url = 'https://httpbin.org/post'
files = {'file': open('report.pdf', 'rb')}
r = requests.post(url, files=files)
print(r.json())

与其他爬虫工具的对比

虽然 requests 功能强大，但在特定场景下需结合其他工具。

何时选择 Selenium？

当目标网站 heavily 依赖 JavaScript 动态加载内容（如无限滚动、SPA 应用）时，requests 只能获取空壳 HTML。此时需使用 Selenium 驱动浏览器执行脚本。

from selenium import webdriver
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式
browser = webdriver.Chrome(options=options)
browser.get('https://example.com')
element = browser.find_element(By.ID, 'dynamic-content')
print(element.text)
browser.quit()

何时选择 Scrapy？

对于需要抓取成千上万页面的项目，Scrapy 提供了中间件、去重、调度器等完整框架，适合企业级爬虫开发。

最佳实践与安全建议

1. 遵守 Robots 协议：在爬取前检查 robots.txt 文件，尊重网站规则。
2. 设置延迟：避免高频请求导致服务器压力过大，使用 time.sleep() 控制频率。
3. 错误重试机制：利用 requests.adapters.HTTPAdapter 实现自动重试策略。
4. 敏感信息保护：不要将 API Key 或密码硬编码在代码中，应使用环境变量。
5. 用户代理轮换：在大规模爬取时，维护一个 User-Agent 池并随机切换。

总结

Python requests 库以其简洁性和强大的功能成为网络请求的事实标准。掌握其基础用法、会话管理、代理配置及异常处理，足以应对绝大多数静态网页和数据接口的采集需求。对于动态渲染或超大规模任务，则应结合 Selenium 或 Scrapy 构建混合方案。在实际开发中，务必注重代码规范、性能优化及合规性，确保数据采集任务的稳定运行。