Python 网络爬虫基础教程：从原理到实战

注意 link.get('href') 可能会返回 None，实际开发中最好加个判断，避免程序报错。

四、爬虫的分类与进阶

不同的网页类型需要不同的处理策略。

1. 静态网页爬虫

如果数据直接写在 HTML 里，上面的方法就足够了。这是最基础的场景。

2. 动态网页处理

现在很多网站的数据是通过 JavaScript 动态加载的，HTML 源码里看不到完整内容。这时候就需要模拟浏览器行为，Selenium 是个不错的选择。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.example.com')
print(driver.title)
driver.quit()

Selenium 能像真人一样点击按钮、滚动页面，适合处理复杂的交互逻辑。记得先安装驱动和库：

pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple 

3. 大规模爬取框架

当任务量变大时，手写脚本效率太低，这时应该上框架。Scrapy 是业界标准的异步爬虫框架，性能强悍，适合构建大型项目。

pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple 

五、应对反爬机制

很多网站有防护策略，直接访问可能会被封禁。这里有几个常用的'通关'技巧。

1. 伪装请求头

服务器通常通过 User-Agent 识别爬虫。我们可以伪造浏览器的标识：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
response = requests.get(url, headers=headers)

2. 控制访问频率

频繁请求容易触发 IP 限制，适当延时是必要的礼貌：

import time
time.sleep(2)  # 等待 2 秒再发下一个请求

3. 代理 IP

如果单 IP 被封，可以使用代理池切换出口地址：

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'https://10.10.1.10:1080'
}
response = requests.get(url, proxies=proxies)

六、数据持久化

抓下来的数据总得存起来，CSV 和数据库是最常见的两种方案。

1. 保存到 CSV

适合轻量级数据，Excel 就能打开：

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['标题', '链接'])  # 表头
    for link in links:
        writer.writerow([link.text, link.get('href')])

2. 保存到数据库

结构化数据建议存入 SQLite 等数据库：

import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS links (title TEXT, href TEXT)')

for link in links:
    cursor.execute('INSERT INTO links (title, href) VALUES (?, ?)', (link.text, link.get('href')))

conn.commit()
conn.close()

七、总结

1. 流程：请求 → 解析 → 存储。
2. 工具：requests + BeautifulSoup 搞定静态页；Selenium 处理动态页；Scrapy 应对大规模任务。
3. 反爬：伪装 UA、设置延时、使用代理是基础三板斧。
4. 存储：根据数据量选择 CSV 或数据库。