Python 爬虫基础教程：从原理到实战代码详解

注意，find_all('a') 会返回所有 <a> 标签，我们需要遍历并获取 href 属性。实际项目中，通常还需要过滤掉无效链接（如空值或以 # 开头的锚点）。

四、进阶场景处理

1. 动态网页（JavaScript 渲染）

如果网页内容是通过 JavaScript 异步加载的，普通的 requests 拿不到数据。这时需要 Selenium 来驱动浏览器。

from selenium import webdriver

# 启动 Chrome 浏览器
driver = webdriver.Chrome()

try:
    driver.get('https://www.example.com')
    print(driver.title)
finally:
    driver.quit()

Selenium 能像真人一样操作页面，比如点击按钮、滚动加载更多内容，非常适合处理现代前端应用。

2. 反爬机制应对

很多网站有反爬策略，常见的几种应对方式如下：

• 伪装请求头：如上例所示，设置 User-Agent。
• 控制频率：频繁请求会被封禁，加入随机延迟。

import time
import random

time.sleep(random.uniform(1, 3))  # 随机等待 1-3 秒

• 代理 IP：如果单 IP 被封，可切换代理池。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'https://10.10.1.10:1080'
}
response = requests.get(url, proxies=proxies)

五、数据存储方案

数据抓下来后，通常需要持久化存储。

1. CSV 文件

适合轻量级数据导出，Excel 可直接打开。

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['标题', '链接'])  # 表头
    for link in links:
        writer.writerow([link.text, link.get('href')])

2. SQLite 数据库

适合结构化数据，便于后续查询和分析。

import sqlite3

conn = sqlite3.connect('data.db')
cursor = conn.cursor()

# 建表
cursor.execute('''
    CREATE TABLE IF NOT EXISTS links (
        title TEXT,
        href TEXT
    )
''')

# 插入数据
for link in links:
    cursor.execute(
        'INSERT INTO links (title, href) VALUES (?, ?)',
        (link.text, link.get('href'))
    )

conn.commit()
conn.close()

六、总结

爬虫开发的核心在于理解 HTTP 协议和 HTML 结构。对于初学者，掌握 requests 和 BeautifulSoup 足以应对大部分静态页面需求。遇到动态加载内容时，引入 Selenium；面对大规模采集任务，则应转向 Scrapy 框架。同时，务必遵守网站的 robots.txt 协议，合理控制请求频率，避免对目标服务器造成压力。