Python 爬虫实战入门：请求、解析与存储

解析网页内容

拿到 HTML 只是第一步，真正有用的是把目标字段提出来。这里 BeautifulSoup 比手写正则省心得多，尤其是页面结构还算规整的时候。

标签查找

# 假设 html_doc 为获取到的网页源码
soup = BeautifulSoup(html_doc, 'html.parser')

# 提取所有链接
links = soup.find_all('a')
for link in links[:5]:  # 仅打印前 5 个
    href = link.get('href')
    text = link.get_text(strip=True)
    print(f"链接：{href}, 文本：{text}")

# 提取段落内容
paragraphs = soup.find_all('p')
for p in paragraphs:
    content = p.get_text(strip=True)
    if content:
        print(f"段落：{content[:50]}...")  # 限制输出长度

CSS 选择器

如果页面层级比较深，CSS 选择器通常比层层 .find() 更顺手。

# 查找 class 为 'content' 的 div 下的所有 h2 标签
items = soup.select('div.content h2')
for item in items:
    print(item.get_text())

处理动态内容

有些页面首屏内容不完整，数据是 JavaScript 跑完后才塞进去的。这种情况下，requests 拿到的源码往往不够看，只能换 Selenium 这种能驱动浏览器的方案。

Selenium 基础用法

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化 Chrome 驱动
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式，不显示浏览器窗口
driver = webdriver.Chrome(options=options)

try:
    driver.get('http://example.com')
    
    # 等待特定元素出现
    wait = WebDriverWait(driver, 10)
    element = wait.until(EC.presence_of_element_located((By.ID, "main-content")))
    
    html = driver.page_source
    print(html[:500])  # 打印部分源码
finally:
    driver.quit()

数据存储

抓到的数据别只停留在控制台，落盘才算能继续用。常见的选择是 JSON、CSV，或者直接进数据库；前两种最适合刚开始做验证。

保存为 JSON

import json

data = [
    {"id": 1, "name": "Item A", "price": 100},
    {"id": 2, "name": "Item B", "price": 200}
]

with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

保存为 CSV

import csv

with open('data.csv', 'w', newline='', encoding='utf-8-sig') as f:
    writer = csv.DictWriter(f, fieldnames=['id', 'name', 'price'])
    writer.writeheader()
    writer.writerows(data)

进阶一点的处理

等你开始跑真实站点，就会碰到登录态、表单提交、频率限制这些问题。这里没有什么一劳永逸的办法，只能按场景拆开处理。

Session 管理

Session 能保留 Cookie 和连接池，适合需要持续会话的站点。

session = requests.Session()
response = session.get(url, headers=headers)

反爬虫策略应对

• IP 代理：通过代理池轮换 IP，降低单点暴露。
• 请求频率控制：用 time.sleep() 加随机延迟，别把站点压得太猛。
• 验证码处理：简单验证码可以试 OCR，复杂的通常还是得人工介入。

错误重试机制

重试不是为了掩盖问题，而是应付那些偶发的 5xx 或网络抖动。

import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retry = Retry(total=3, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

法律与道德规范

爬虫能不能跑，不只看技术，也看边界。robots.txt 要看，版权和隐私要避开，访问频率也别太激进。尤其是个人信息、敏感数据，碰都不要碰。

1. robots.txt：检查网站根目录下的 /robots.txt 文件，确认允许爬取的路径。
2. 版权保护：不得爬取受版权保护的敏感数据用于商业用途。
3. 隐私保护：严禁爬取用户个人隐私信息（如手机号、身份证等）。
4. 服务影响：控制并发量，避免对目标服务器造成拒绝服务攻击（DDoS）。

小结

这套入门路径其实很朴素：先把请求发出去，再把 HTML 拆出来，遇到动态页面就上浏览器驱动，最后把数据存好。真正的分水岭不在'会不会写爬虫'，而在于你能不能根据页面状态选对工具。很多场景里，requests + BeautifulSoup 已经够用了；只有在页面明显依赖前端渲染时，才值得把 Selenium 拉进来。