Python 网络爬虫基础教程：原理与实战

通过 find_all('a') 可以遍历所有锚点，再用 .get('href') 取出地址属性。注意，有些链接可能是相对路径，实际使用时可能需要拼接域名。

四、进阶处理：动态页面与框架

1. 静态 vs 动态网页

上面的例子针对的是静态网页，数据直接写在 HTML 里。但很多现代网站的数据是通过 JavaScript 动态加载的，这时候直接请求 HTML 可能拿不到完整数据。

对于这类情况，我们需要模拟浏览器行为，常用的工具是 Selenium。

Selenium 安装

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple

简单示例

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
print(driver.title)
driver.quit()

Selenium 能像真实用户一样操作浏览器，支持点击、滚动等交互，适合处理复杂的动态渲染页面。

2. 大规模采集：Scrapy 框架

当项目规模变大，需要高并发和异步处理时，建议直接使用 Scrapy 框架。它内置了管道、中间件等组件，构建效率远高于手写脚本。

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple

五、应对反爬机制

在实际开发中，经常遇到网站的反爬策略，以下是几种常见的应对方案。

1. 伪装请求头

部分网站会检测 User-Agent，拒绝非浏览器请求。我们可以手动添加请求头来伪装身份：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
response = requests.get(url, headers=headers)

2. 控制访问频率

频繁请求容易触发 IP 封禁。加入延迟是必要的保护手段：

import time

time.sleep(2)  # 等待 2 秒后再发下一个请求

3. 使用代理 IP

如果单 IP 被限制，可以使用代理池切换出口地址：

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'https://10.10.1.10:1080',
}
response = requests.get(url, proxies=proxies)

六、数据存储

数据抓下来后，通常需要持久化存储。常见方式有 CSV 文件和关系型数据库。

1. 导出为 CSV

适合轻量级数据整理：

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['标题', '链接'])  # 写入表头
    for link in links:
        writer.writerow([link.text, link.get('href')])

2. 存入 SQLite 数据库

适合结构化数据的长期管理：

import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()

# 创建表
cursor.execute('CREATE TABLE IF NOT EXISTS links (title TEXT, href TEXT)')

# 插入数据
for link in links:
    cursor.execute('INSERT INTO links (title, href) VALUES (?, ?)', 
                   (link.text, link.get('href')))

conn.commit()
conn.close()

七、总结

1. 核心流程：请求 -> 解析 -> 存储。
2. 基础库：requests 负责联网，BeautifulSoup 负责解析。
3. 进阶方案：动态页面用 Selenium，大规模任务用 Scrapy。
4. 反爬对抗：通过设置请求头、延时访问及代理 IP 提高成功率。

掌握这些基础后，你可以根据具体需求扩展功能，比如增加异常处理、多线程优化等，逐步构建更稳健的爬虫系统。