如何在 Python Requests 中使用代理：分步指南

有些代理需要用户名和密码认证，你可以在代理 URL 中加入账号信息：

proxies = {
    'http': 'http://username:password@your_proxy_address:your_proxy_port',
    'https': 'http://username:password@your_proxy_address:your_proxy_port',
}

步骤 5：轮换代理

为了在大量请求时避免被封锁，可以轮换使用多个代理。下面是一个简单轮换代理的方式：

import random
import requests

# 代理列表
proxy_list = [
    'http://proxy1_address:proxy1_port',
    'http://proxy2_address:proxy2_port',
    'http://proxy3_address:proxy3_port',
]

# 随机选择一个代理
proxy = random.choice(proxy_list)

# 定义代理
proxies = {
    'http': proxy,
    'https': proxy,
}

# 使用选中的代理发送请求
response = requests.get('http://example.com', proxies=proxies)
print(response.text)

步骤 6：错误处理

在使用代理时，优雅地处理错误非常重要。下面是一个基础错误处理示例：

import requests

try:
    response = requests.get('http://example.com', proxies=proxies)
    response.raise_for_status() # 对错误状态码抛出异常
    print(response.text)
except requests.exceptions.ProxyError:
    print("Proxy Error")
except requests.exceptions.ConnectionError:
    print("Connection Error")
except requests.exceptions.Timeout:
    print("Timeout Error")
except requests.exceptions.RequestException as e:
    print(f"An error occurred: {e}")

使用代理的最佳实践

1. 使用可靠的代理： 选择高质量、稳定的代理，确保请求成功率和数据安全。
2. 频繁轮换代理： 定期轮换代理，避免被识别和封锁。
3. 实现健壮的错误处理： 完善的错误处理能让脚本在失败时平稳恢复。
4. 尊重网站规则： 遵守网站的服务条款和 robots.txt，避免法律风险。

进阶用法

对高级用户来说，将代理池集成到项目中并管理会话，可以进一步增强代理方案。

使用代理池

代理池是可以循环使用的一组代理。这在需要大量请求的网页爬取或自动化任务中尤其有用。一些库（如 requests-ip-rotator）可以简化代理池的使用：

from requests_ip_rotator import ApiGateway

gateway = ApiGateway("http://example.com")
gateway.start()
session = gateway.get_session()
response = session.get('http://example.com')
print(response.text)
gateway.shutdown()

管理会话

在 Python Requests 中使用 Session 对象可以在多个请求之间持久化某些参数，这对维护 cookies、headers 以及统一的代理设置很有用：

import requests

session = requests.Session()

# 为整个会话设置代理
session.proxies.update(proxies)

# 使用会话发送请求
response = session.get('http://example.com')
print(response.text)

总结

在 Python Requests 中使用代理，可以极大提升你的网页爬取、数据采集以及在线安全能力。按照本指南，你可以完成代理的设置与使用，从而保持匿名、绕过地理限制，并保护你的数据安全。