Python 爬虫入门实战：从请求解析到反爬策略

这里加了个判断，避免打印出空链接或无效路径。

四、进阶场景处理

1. 动态网页（JavaScript 渲染）

有些网站的数据是通过 JS 异步加载的，HTML 源码里看不到完整内容。这时需要模拟浏览器行为，Selenium 是首选工具。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
print(driver.title)
driver.quit()

注意：实际项目中需确保本地已配置好 ChromeDriver 驱动路径。

2. 大规模框架（Scrapy）

当需要高并发、结构化地爬取大量数据时，建议使用 Scrapy 框架。它内置了中间件、管道等组件，适合构建生产级爬虫。

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

五、应对反爬机制

很多网站会限制爬虫访问，常见手段包括检测 User-Agent、IP 频率和代理池。

1. 伪装请求头

默认请求头容易被识别，建议添加常见的浏览器 UA。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)

2. 控制访问频率

频繁请求会触发封禁，加入延时是必要的保护措施。

import time
time.sleep(2)  # 每次请求间隔 2 秒

3. 使用代理 IP

如果单 IP 被封，可切换代理池。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get(url, proxies=proxies)

六、数据存储方案

1. CSV 文件

适合轻量级数据导出。

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['标题', '链接'])
    for link in links:
        writer.writerow([link.get_text(strip=True), link.get('href')])

2. SQLite 数据库

适合结构化存储和查询。

import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE IF NOT EXISTS links 
                  (title TEXT, href TEXT)''')

for link in links:
    cursor.execute('INSERT INTO links VALUES (?, ?)', 
                   (link.get_text(strip=True), link.get('href')))

conn.commit()
conn.close()

七、总结

爬虫开发的核心在于理解 HTTP 协议与 DOM 结构。基础场景用 requests + BeautifulSoup 即可解决；遇到动态加载考虑 Selenium；大规模任务推荐 Scrapy。同时务必遵守 robots 协议，合理设置请求频率，尊重目标网站的规则。