Python 爬虫入门实战：从请求到数据保存

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
print(driver.title)
driver.quit()

大规模爬取框架

当任务量变大时，手动写脚本效率较低，建议使用 Scrapy 框架。它内置了异步处理、去重和管道功能。

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

五、反爬机制应对

很多网站有防护策略，常见手段及对策如下：

1. 伪装请求头

服务器可能检测 User-Agent。添加正常的浏览器标识可绕过简单检测。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
response = requests.get(url, headers=headers)

2. 控制访问频率

频繁请求会触发 IP 封禁。加入随机延迟是必要的。

import time
time.sleep(2)  # 等待 2 秒后再发下一个请求

3. 使用代理 IP

若单 IP 受限，需切换代理池。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'https://10.10.1.10:1080'
}
response = requests.get(url, proxies=proxies)

六、数据存储

CSV 文件

适合轻量级结构化数据。

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['标题', '链接'])
    for link in links:
        writer.writerow([link.text, link.get('href')])

SQLite 数据库

适合需要复杂查询的场景。

import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS links (title TEXT, href TEXT)')

for link in links:
    cursor.execute('INSERT INTO links (title, href) VALUES (?, ?)', 
                   (link.text, link.get('href')))

conn.commit()
conn.close()

七、总结

爬虫的核心在于理解 HTTP 协议与 HTML 结构。基础阶段掌握 requests 和 BeautifulSoup 足以应对大部分静态站点；遇到动态渲染需引入 Selenium；生产环境则推荐 Scrapy。同时务必遵守法律法规，合理设置访问频率，避免对目标服务器造成压力。