Python 爬虫入门：构建简单数据抓取程序

3.2 设置请求头（Headers）

许多网站会检测 User-Agent 字段以识别是否为爬虫。为了模拟真实浏览器，建议添加请求头：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

response = requests.get(url, headers=headers)

3.3 常见状态码说明

• 200 OK：请求成功。
• 301 Moved Permanently：永久重定向。
• 404 Not Found：资源未找到。
• 403 Forbidden：禁止访问（可能触发反爬机制）。
• 500 Internal Server Error：服务器内部错误。

4. 使用 BeautifulSoup 解析网页

获取到 HTML 源码后，需要从中提取结构化数据。BeautifulSoup 提供了直观的 API 来遍历 DOM 树。

4.1 初始化解析对象

from bs4 import BeautifulSoup

html_doc = response.text
soup = BeautifulSoup(html_doc, 'lxml')

4.2 查找标签元素

4.2.1 查找单个标签

使用 find() 方法获取第一个匹配的标签：

# 查找 title 标签
title_tag = soup.find('title')
if title_tag:
    print(title_tag.string)

4.2.2 查找多个标签

使用 find_all() 方法获取所有匹配标签的列表：

# 获取所有链接 a 标签
links = soup.find_all('a')
for link in links:
    href = link.get('href')
    text = link.get_text(strip=True)
    if href and text:
        print(f"链接：{href}, 文本：{text}")

4.3 CSS 选择器

BeautifulSoup 支持类似 CSS 的选择器语法，便于快速定位：

# 查找 class 为 nav 下的所有 li 标签
items = soup.select('.nav li')

4.4 正则表达式解析

对于结构复杂的非标准 HTML，可以使用 Python 内置的 re 模块进行正则匹配：

import re

# 提取所有 http 开头的链接
pattern = r'https?://[^"]+'
urls = re.findall(pattern, html_doc)

5. 数据存储方案

5.1 保存为文本文件

将提取的数据写入本地 TXT 文件：

with open('data.txt', 'w', encoding='utf-8') as f:
    for link in links:
        href = link.get('href')
        if href:
            f.write(href + '\n')

使用 with open(...) 语句可确保文件操作完成后自动关闭，避免资源泄露。

5.2 保存为 JSON 格式

JSON 更适合存储结构化数据，便于后续处理：

import json

data_list = []
for link in links:
    href = link.get('href')
    if href:
        data_list.append({'url': href})

with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data_list, f, ensure_ascii=False, indent=4)

5.3 保存为 CSV 格式

CSV 适合表格化数据，可使用 pandas 或直接写入：

import csv

with open('data.csv', 'w', newline='', encoding='utf-8-sig') as f:
    writer = csv.writer(f)
    writer.writerow(['URL'])
    for link in links:
        href = link.get('href')
        if href:
            writer.writerow([href])

6. 进阶实践与注意事项

6.1 异常处理

网络请求具有不稳定性，应增加异常捕获机制：

import time

for i in range(5):
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
        break
    except requests.exceptions.RequestException as e:
        print(f"第 {i+1} 次请求失败：{e}")
        time.sleep(2)  # 失败后等待 2 秒重试

6.2 遵守 Robots 协议

在爬取前，应检查目标网站的 robots.txt 文件（通常为 https://域名/robots.txt），确认是否允许爬取特定路径。

6.3 频率控制

避免短时间内发送大量请求导致服务器压力过大或被封禁 IP。建议在循环中加入延时：

import random

time.sleep(random.uniform(1, 3))

6.4 Session 管理

若需保持登录状态或复用连接，可使用 Session 对象：

session = requests.Session()
session.headers.update(headers)
response = session.get(url)

7. 总结

本文详细介绍了 Python 爬虫的基础实现流程：

1. 使用 requests 发送带 Headers 的 HTTP 请求。
2. 利用 BeautifulSoup 和 lxml 解析 HTML 结构。
3. 通过文件 IO 将数据持久化为 TXT、JSON 或 CSV 格式。
4. 补充了异常处理、频率控制和协议遵守等工程化实践。

掌握这些基础技能后，开发者可进一步探索动态页面渲染（如 Selenium）、分布式爬虫及反爬策略对抗等高级主题。