基于 Python 的跨境电商数据采集实战与代理 IP 应用

其次设置请求头，如下：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

模拟浏览器请求。很多网站会根据请求头来判断请求是否来自浏览器，以防止自动化脚本等的访问。这里你也可以选择多设置几个 User-Agent 轮换使用。

之后我们确定目标 URL，这里是可以变动的，但是如果变动过大的话，后面对应的结构也得变动。

获取页面的内容，requests.get(url, headers=headers)：发送 GET 请求到目标网站，获取网页内容。response.text：获取返回的 HTML 内容。BeautifulSoup(response.text, 'html.parser')：使用 BeautifulSoup 解析 HTML 内容。'html.parser' 是解析器，BeautifulSoup 会将 HTML 内容转换成一个可以通过 Python 代码进行操作的对象。

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

定义提取商品信息的函数，这里使用 find_all 函数。

def extract_product_info():
    products = []
    product_elements = soup.find_all('div', class_='product-tuple-listing')
    
    for element in product_elements:
        try:
            # 提取商品名称
            name_tag = element.find('p')
            name = name_tag.get_text(strip=True) if name_tag else 'N/A'
            
            # 提取商品价格
            price_tag = element.find('span')
            price = price_tag.get_text(strip=True) if price_tag else 'N/A'
            
            # 提取商品链接
            link_tag = element.find('a')
            link = link_tag['href'] if link_tag and 'href' in link_tag.attrs else 'N/A'
            
            products.append({
                'name': name,
                'price': price,
                'link': link
            })
        except Exception as e:
            print(f"Error parsing element: {e}")
            continue
            
    return products

这里设置 products = []：初始化一个空列表，用来存储商品信息。soup.find_all('div', class_='product-tuple-listing')：通过 BeautifulSoup 找到所有符合条件的 div 元素，这些 div 元素是每个商品的容器。循环遍历这些元素，尝试提取内部的文本和属性。注意添加异常处理，防止某个商品块结构异常导致整个程序崩溃。

4.3 优化代码

在实际运行中，我们可能会遇到连接超时、编码错误等问题。建议在 requests.get 中添加 timeout 参数，并处理可能的 HTTPError。

此外，如果目标网站有严格的反爬机制，记得将代理 IP 配置到 proxies 参数中：

proxies = {
    'http': 'http://user:pass@ip:port',
    'https': 'http://user:pass@ip:port'
}
response = requests.get(url, headers=headers, proxies=proxies)

这样可以在每次请求时切换 IP，进一步降低被封禁的风险。

5 总结

通过本文的讲解，我们了解了代理 IP 在爬虫中的核心价值，并完成了从网站分析到代码实现的完整流程。在实际开发中，保持代码的健壮性和合规性同样重要。希望这些经验能帮助大家在数据采集的道路上走得更稳更远。