Python 爬虫入门教程：从零开始学习网络数据采集

3. 解析网页内容

爬虫程序的核心是解析网页内容。Beautiful Soup 是一个强大的解析库，它可以帮助我们从 HTML 或 XML 文件中提取数据。

3.1 标签导航与查找

# 假设 html_doc 为获取到的网页源码
soup = BeautifulSoup(html_doc, 'html.parser')

# 提取所有链接
links = soup.find_all('a')
for link in links[:5]:  # 仅打印前 5 个
    href = link.get('href')
    text = link.get_text(strip=True)
    print(f"链接：{href}, 文本：{text}")

# 提取段落内容
paragraphs = soup.find_all('p')
for p in paragraphs:
    content = p.get_text(strip=True)
    if content:
        print(f"段落：{content[:50]}...")  # 限制输出长度

3.2 CSS 选择器

Beautiful Soup 支持 CSS 选择器，可以更灵活地定位元素。

# 查找 class 为 'content' 的 div 下的所有 h2 标签
items = soup.select('div.content h2')
for item in items:
    print(item.get_text())

4. 处理动态内容

有些网页的内容是通过 JavaScript 动态加载的，此时静态请求无法获取完整数据。我们需要使用 Selenium 等工具来模拟浏览器行为。

4.1 Selenium 基础用法

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化 Chrome 驱动
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式，不显示浏览器窗口
driver = webdriver.Chrome(options=options)

try:
    driver.get('http://example.com')
    
    # 等待特定元素出现
    wait = WebDriverWait(driver, 10)
    element = wait.until(EC.presence_of_element_located((By.ID, "main-content")))
    
    html = driver.page_source
    print(html[:500])  # 打印部分源码
finally:
    driver.quit()

5. 数据存储

爬取的数据需要持久化存储，常见的格式包括 JSON、CSV 和数据库。

5.1 保存为 JSON

import json

data = [
    {"id": 1, "name": "Item A", "price": 100},
    {"id": 2, "name": "Item B", "price": 200}
]

with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

5.2 保存为 CSV

import csv

with open('data.csv', 'w', newline='', encoding='utf-8-sig') as f:
    writer = csv.DictWriter(f, fieldnames=['id', 'name', 'price'])
    writer.writeheader()
    writer.writerows(data)

6. 进阶技术与最佳实践

掌握了基本技术后，可以进一步学习如何处理表单提交、登录认证、反爬虫机制等高级技术。

6.1 Session 管理

使用 Session 对象可以保持 Cookie 和连接池，提高请求效率。

session = requests.Session()
response = session.get(url, headers=headers)

6.2 反爬虫策略应对

• IP 代理：使用代理池轮换 IP 地址。
• 请求频率控制：使用 time.sleep() 随机延迟，避免高频访问。
• 验证码处理：对于简单验证码可尝试 OCR 识别，复杂验证码需人工介入。

6.3 错误重试机制

import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retry = Retry(total=3, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

7. 法律与道德规范

编写爬虫时，务必遵守相关法律法规及目标网站的 robots.txt 协议。

1. robots.txt：检查网站根目录下的 /robots.txt 文件，确认允许爬取的路径。
2. 版权保护：不得爬取受版权保护的敏感数据用于商业用途。
3. 隐私保护：严禁爬取用户个人隐私信息（如手机号、身份证等）。
4. 服务影响：控制并发量，避免对目标服务器造成拒绝服务攻击（DDoS）。

结语

通过本教程，你已经初步了解了 Python 爬虫的基本原理和技术实现。从环境搭建到数据解析，再到动态页面处理和存储，这些构成了爬虫开发的基础知识体系。希望本教程能够帮助你进入网络爬虫的世界，发现数据的价值和无限可能性。在实际开发中，请始终遵循合法合规的原则，尊重数据所有权。