Python 网络爬虫入门与实战指南

3. 登录情况处理

许多网站需要登录后才能访问特定资源。

3.1 POST 表单登录

先向服务器发送表单数据，服务器验证后将 cookie 存入响应头，后续请求需携带该 cookie。

import requests

data = {'username': 'user', 'password': 'pass'}
login_url = 'https://example.com/login'

response = requests.post(url=login_url, data=data)

# 保存会话，以便后续请求自动携带 Cookie
session = requests.Session()
session.post(login_url, data=data)

# 后续请求使用 session
profile_url = 'https://example.com/profile'
profile_response = session.get(profile_url)

3.2 使用 Cookie 登录

如果已知有效的 Cookie，可以直接设置到请求头或 Session 中，服务器会认为你是一个已登录用户。

import requests

cookies = {'session_id': 'abc123xyz'}
headers = {'Cookie': 'session_id=abc123xyz'}

response = requests.get('https://example.com/protected', cookies=cookies)

4. 反爬虫机制处理

很多网站实施了反爬虫策略，如 IP 限制、验证码、User-Agent 检测等。

4.1 使用代理 IP

主要用于解决'限制 IP'地址情况。维护一个代理 IP 池，随机选择使用。

proxies = {
    'http': 'http://XX.XX.XX.XX:XXXX',
    'https': 'http://XX.XX.XX.XX:XXXX'
}

try:
    response = requests.get(url='https://example.com', proxies=proxies, timeout=5)
except Exception as e:
    print(f"Proxy error: {e}")

4.2 时间限制

解决频繁访问导致受限问题。加入 sleep 函数放缓频率。

import time
import random

time.sleep(random.uniform(1, 3))  # 随机休眠 1-3 秒

4.3 伪装成浏览器访问

一些网站会检查 User-Agent 和 Referer。加上这些头部信息可模拟真实浏览器。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Referer': 'https://www.google.com/'
}

response = requests.get(url=url, headers=headers)

4.4 断线重连

网络波动可能导致请求失败，实现重试机制可提高稳定性。

def fetch_with_retry(session, url, max_retries=3):
    for attempt in range(max_retries):
        try:
            return session.get(url, timeout=10)
        except requests.exceptions.RequestException as e:
            print(f"Attempt {attempt + 1} failed: {e}")
            if attempt == max_retries - 1:
                raise
            time.sleep(2 ** attempt)  # 指数退避
    return None

5. 数据分析

获取的数据通常需要进行清洗和分析。

5.1 HTML 解析

对于 HTML 格式数据，推荐采用 BeautifulSoup 或 lxml。

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>Sample</title></head>
<body><p id="notice">Notice!</p></body></html>
"""

soup = BeautifulSoup(html_doc, 'lxml')
print(soup.title.string)
print(soup.find('p', id='notice').text)

5.2 JSON 处理

JSON 格式数据可直接使用 Python 的 json 模块或 Pandas 处理。

import json
import pandas as pd

data_str = '{"name": "Alice", "age": 25}'
data_dict = json.loads(data_str)

# 转为 DataFrame 方便分析
df = pd.DataFrame([data_dict])
print(df.head())

此外，可以使用 numpy, matplotlib, pyecharts 等模块包做相应的数据分析与可视化展示。

6. 数据存储

数据抓取、分析处理完后，需要持久化存储。常见方式有存入数据库或 Excel 表格。

6.1 SQLite 存储

SQLite 轻量级，适合本地开发。

import sqlite3

conn = sqlite3.connect('crawler_data.db')
cursor = conn.cursor()

cursor.execute('''CREATE TABLE IF NOT EXISTS items
                  (id INTEGER PRIMARY KEY, name TEXT, price REAL)''')

cursor.execute("INSERT INTO items (name, price) VALUES (?, ?)", ('Item A', 10.5))
conn.commit()
conn.close()

6.2 CSV 存储

适合快速导出。

import csv

data = [['Name', 'Price'], ['Item A', 10.5]]
with open('output.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerows(data)

7. 并发处理

当爬取数据量过大时，单线程效率较低。Python 中可使用多线程 (threading) 或多进程 (multiprocessing)。

注意：由于 GIL (全局解释器锁) 的存在，CPU 密集型任务建议使用多进程，IO 密集型任务（如网络请求）多线程即可。

import multiprocessing as mp

def worker_task(item):
    # 模拟耗时任务
    return item * 2

if __name__ == '__main__':
    pool = mp.Pool(processes=4)
    results = pool.map(worker_task, range(10))
    pool.close()
    pool.join()
    print(results)

8. 总结与注意事项

本文介绍了 Python 爬虫的基础流程，包括请求发送、反爬应对、数据解析与存储。在实际开发中，请务必遵守目标网站的 robots.txt 协议，尊重版权与隐私，避免对服务器造成过大压力。合法合规地进行数据采集是爬虫开发的前提。