Python 网络爬虫入门指南与实战案例演示

步骤二：解析 HTML 内容

使用 BeautifulSoup 解析返回的 HTML 内容，查找包含商品信息的容器。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.content, 'html.parser')
# 假设商品列表在一个特定的 section 下
section_list = soup.find_all('div', class_='product-desc-rating')

步骤三：提取具体数据

遍历每个商品项，提取名称、链接和价格信息。注意处理可能缺失的数据。

import pandas as pd
from tqdm import tqdm

products = []
prices = []
discounts = []

for item in tqdm(section_list):
    try:
        # 提取产品名称
        name_tag = item.find('p')
        product_name = name_tag.text.strip() if name_tag else "未知"
        
        # 提取链接
        link_tag = item.find('a')
        product_url = link_tag['href'] if link_tag else "#"
        
        # 提取价格
        price_span = item.find('span')
        original_price = price_span.text.strip() if price_span else "0"
        
        # 提取折扣信息
        discount_div = item.find('div', class_='product-discount')
        discount_info = discount_div.text.strip() if discount_div else "无折扣"
        
        products.append(product_name)
        prices.append(original_price)
        discounts.append(discount_info)
    except Exception as e:
        continue

步骤四：数据存储

将提取的数据整理为 DataFrame 并保存为 CSV 文件。

df = pd.DataFrame({
    'Product_Name': products,
    'Original_Price': prices,
    'Discount_Info': discounts
})

df.to_csv('mobile_products.csv', index=False, encoding='utf-8-sig')
print("数据已保存至 mobile_products.csv")

最佳实践与注意事项

1. 遵守 Robots 协议：在抓取前查看 https://域名/robots.txt，确认是否允许抓取。
2. 设置延时：避免高频请求导致 IP 被封禁，可在请求间添加 time.sleep()。
3. 异常处理：网络不稳定可能导致请求失败，需使用 try-except 捕获异常。
4. 反爬机制：部分网站有验证码或动态加载，可能需要 Selenium 等工具辅助。
5. 版权意识：仅抓取公开数据用于学习或研究，不得侵犯他人知识产权。

总结

本文详细介绍了 Python 网络爬虫的基础原理、核心库的使用以及完整的实战流程。通过 Requests 发送请求，BeautifulSoup 解析数据，Pandas 存储结果，可以高效地完成数据采集任务。初学者应在此基础上进一步探索更复杂的反爬策略和数据清洗技术。