Python 爬虫技术入门：原理、工具与实战流程

4.2 自定义请求头

许多网站会检测 User-Agent，需伪装成浏览器。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9'
}
response = requests.get(url, headers=headers)

4.3 参数传递

• GET 参数: 通过 params 字典传递。
• POST 数据: 通过 data 字典传递表单数据。
• JSON 数据: 通过 json 参数传递。

# GET 请求带参数
params = {'keyword': 'python', 'page': 1}
response = requests.get('https://api.example.com/search', params=params)

# POST 请求
payload = {'username': 'user', 'password': 'pass'}
response = requests.post('https://api.example.com/login', data=payload)

4.4 Session 对象与 Cookie 管理

Session 可以跨请求保持 Cookie，适合处理登录态。

session = requests.Session()
session.headers.update(headers)

# 登录
login_resp = session.post('https://example.com/login', data={'user': 'admin'})

# 访问需要登录的页面
resp = session.get('https://example.com/profile')

4.5 代理设置

使用代理可隐藏真实 IP，提高爬取稳定性。

proxies = {
    'http': 'http://127.0.0.1:7890',
    'https': 'https://127.0.0.1:7890'
}
response = requests.get(url, proxies=proxies, timeout=10)

4.6 异常处理

网络请求不稳定，必须添加超时和异常捕获。

try:
    response = requests.get(url, timeout=5)
    response.raise_for_status()  # 如果状态码不是 200 则抛出异常
except requests.exceptions.RequestException as e:
    print(f'Request failed: {e}')

5. 数据提取策略

获取 HTML 后，需从中提取目标数据。常用方法如下：

5.1 JSON 解析

若接口直接返回 JSON 格式，可直接使用 response.json()。

data = response.json()
name = data['user']['name']

5.2 BeautifulSoup (BS4)

适用于 HTML 解析，语法类似 CSS 选择器。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('h1').text
items = soup.find_all('div', class_='item')

5.3 XPath (lxml)

XPath 功能强大，适合复杂层级结构。

from lxml import etree

tree = etree.HTML(response.text)
# 提取所有链接
links = tree.xpath('//a/@href')

5.4 正则表达式 (re)

适用于简单文本匹配，灵活性高但维护成本高。

import re

pattern = r'<h1>(.*?)</h1>'
match = re.search(pattern, response.text)
if match:
    title = match.group(1)

6. 数据存储方案

提取后的数据通常存储至文件或数据库。

6.1 文件存储

• CSV: 适合表格数据。
• JSON: 适合嵌套结构数据。
• TXT: 适合纯文本日志。

import json
with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data_list, f, ensure_ascii=False, indent=4)

6.2 数据库存储

对于大量数据，建议使用 SQLite 或 MySQL。

import sqlite3
conn = sqlite3.connect('crawler.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS items (id INTEGER PRIMARY KEY, name TEXT)')
cursor.execute('INSERT INTO items (name) VALUES (?)', ('Item1',))
conn.commit()
conn.close()

7. 反爬策略与合规性

7.1 Robots 协议

访问 https://域名/robots.txt 查看网站允许的抓取范围。虽然无法律强制力，但应遵守道德规范。

7.2 频率控制

避免短时间内高频请求导致被封禁。可使用 time.sleep() 随机休眠。

import time
import random
time.sleep(random.uniform(1, 3))

7.3 用户代理轮换

定期更换 User-Agent 字符串，降低被识别为机器人的风险。

7.4 合法边界

严禁爬取个人隐私数据、商业机密或受版权保护的内容。不得利用爬虫进行短信轰炸、撞库等违法活动。

8. 总结

本文系统介绍了 Python 爬虫的基础知识，涵盖 HTTP 协议、Requests 库使用、数据解析方法及存储方案。初学者应从简单的静态网页入手，逐步掌握动态渲染（Selenium/Playwright）及反爬对抗技巧。始终牢记合法合规原则，构建可持续的数据采集能力。