Python 爬虫开发实战：从原理到反爬策略

这里加了一个简单的判断，避免打印出空的链接属性。实际项目中，你可能还需要清洗 URL，比如处理相对路径转绝对路径的问题。

四、进阶场景与框架

1. 动态网页处理

有些网站的数据是通过 JavaScript 异步加载的，直接请求 HTML 拿不到完整数据。这时候需要模拟浏览器行为，Selenium 是个不错的选择。

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
print(driver.title)
driver.quit()

Selenium 可以执行点击、滚动等操作，适合处理复杂的交互逻辑，但速度相对较慢。

2. 大规模爬取框架

当任务量变大时，手写脚本维护成本过高。Scrapy 是一个强大的异步爬虫框架，内置了中间件、管道等组件，适合构建生产级爬虫系统。

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

五、应对反爬机制

在实际爬取中，经常会遇到网站的防护策略，以下是几种常见的应对方案。

1. 伪装请求头

服务器可以通过 User-Agent 识别非浏览器流量。添加正常的请求头可以绕过简单检测。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)

2. 控制访问频率

频繁请求容易触发 IP 封禁。使用 time.sleep() 设置随机延迟是必要的礼貌行为。

import time

time.sleep(2)  # 等待 2 秒后再发下一个请求

3. 代理 IP

如果单个 IP 被限制，可以使用代理池切换出口 IP。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'https://10.10.1.10:1080',
}
response = requests.get(url, proxies=proxies)

六、数据存储

数据抓下来后，通常需要存储。CSV 适合轻量级分析，数据库适合结构化查询。

1. 保存到 CSV

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['标题', '链接'])
    for link in links:
        writer.writerow([link.text, link.get('href')])

2. 保存到 SQLite

对于关系型数据，SQLite 无需额外配置，非常适合本地测试。

import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS links (title TEXT, href TEXT)')

for link in links:
    cursor.execute('INSERT INTO links (title, href) VALUES (?, ?)', 
                   (link.text, link.get('href')))

conn.commit()
conn.close()

七、总结

爬虫开发的核心在于理解网络请求与 HTML 结构。掌握 requests 和 BeautifulSoup 足以应对大部分静态页面；遇到动态渲染可引入 Selenium；大规模任务则建议转向 Scrapy。同时，务必遵守法律法规，合理设置请求频率，尊重目标站点的反爬策略。