Python 爬虫开发入门：从基础原理到实战应用

find_all('a') 找出所有超链接标签，link.get('href') 获取每个链接的地址属性。这在需要收集网站内链时非常有用。

进阶场景处理

1. 动态网页（JavaScript 渲染）

有些网站的数据不是直接写在 HTML 里，而是通过 JavaScript 动态加载的。这时 requests 拿不到完整数据，需要使用 Selenium 模拟真实浏览器行为。

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
print(driver.title)
driver.quit()

Selenium 能像真人一样操作浏览器，支持点击按钮、滚动页面等交互，适合处理复杂的动态内容。

2. 大规模爬取（Scrapy 框架）

当需要高效、异步地爬取海量数据时，建议使用专门的爬虫框架 Scrapy。它内置了下载中间件、管道等功能，适合构建生产级爬虫。

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

应对反爬机制

很多网站有反爬策略，我们需要适当调整策略来避免被封禁。

1. 伪装请求头

服务器通常会检查 User-Agent 来判断是否为机器人。添加正常的浏览器标识可以绕过简单检测。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
response = requests.get(url, headers=headers)

2. 设置访问延迟

频繁请求容易触发限制，加入随机等待时间更友好。

import time
time.sleep(2)  # 暂停 2 秒再发下一个请求

3. 使用代理 IP

如果 IP 被限流，可以通过代理池切换出口 IP。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'https://10.10.1.10:1080',
}
response = requests.get(url, proxies=proxies)

数据持久化

提取到的数据通常需要保存下来。

1. 保存到 CSV

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['标题', '链接'])
    for link in links:
        writer.writerow([link.text, link.get('href')])

2. 保存到数据库

对于结构化数据，SQLite 是个轻量级的选择。

import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS links (title TEXT, href TEXT)')
for link in links:
    cursor.execute('INSERT INTO links (title, href) VALUES (?, ?)', (link.text, link.get('href')))
conn.commit()
conn.close()

总结

爬虫开发的核心在于理解 HTTP 协议与 HTML 结构。

• 基础流程：请求 -> 解析 -> 存储。
• 工具选择：静态页用 requests + BeautifulSoup，动态页用 Selenium，大规模任务选 Scrapy。
• 注意事项：注意遵守网站 robots.txt 协议，合理设置频率，避免对目标服务器造成压力。