爬虫入门常见错误：5 个新手易踩的坑与解决方案

import requests 
headers = { 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", 
    "Cookie": "你的 Cookie（可选，爬需要登录的内容时加）" 
} 
url = "https://www.zhihu.com/question/123456" 
response = requests.get(url, headers=headers) 
print(response.text) # 现在能拿到正常页面内容了 

3. 进阶技巧：用fake-useragent库生成随机User-Agent，避免单一标识被封。

错误 3：数据存储混乱，爬完'没法用'

新手往往只关注'能不能爬到数据'，却忽略了'爬到后怎么存'——要么存成杂乱的 TXT 文件，要么字段错位，等后期想分析数据时，发现根本没法筛选、查询。

为什么这是坑？

比如爬商品数据时，新手可能直接把'商品名 + 价格 + 链接'用逗号拼接存 TXT：

手机 A,2999,https://xxx.com/1 
手机 B,3999（缺货）,https://xxx.com/2 

后期想筛选'价格低于 3000 的商品'，还要手动处理'（缺货）'这样的干扰内容；如果爬 10 万条数据，TXT 文件打开都要半天，更别说分析了。

怎么改？

根据数据量和用途选合适的存储方式，核心是'结构化存储'：

• 小数据（几百条）：用 Excel（pandas库的to_excel方法），字段明确（商品名、价格、链接、库存），方便筛选；
• 中大数据（几千到几十万条）：用数据库，比如 MongoDB（存 JSON 格式，字段灵活）、MySQL（结构化强，支持复杂查询）；
• 示例（用 pandas 存 Excel）：

import pandas as pd 
# 爬取到的商品数据，用列表 + 字典存（结构化） 
goods_data = [ 
    {"商品名": "手机 A", "价格": 2999, "链接": "https://xxx.com/1", "库存": "有货"}, 
    {"商品名": "手机 B", "价格": 3999, "链接": "https://xxx.com/2", "库存": "缺货"} 
] 
# 存成 Excel 
df = pd.DataFrame(goods_data) 
df.to_excel("商品数据.xlsx", index=False) # index=False 去掉行号 

错误 4：不处理异常，代码'一崩全没'

新手写的爬虫，经常遇到'爬了一半突然报错，之前爬的数据全丢了'——比如网络波动导致请求超时、页面结构变了导致 XPath 找不到内容、服务器突然返回 500 错误……这些'异常情况'，新手往往没做任何处理，代码直接崩溃。

为什么这是坑？

比如你爬 100 页商品，爬到第 50 页时网络断了，代码没处理'请求超时'，直接抛出requests.exceptions.Timeout错误，停止运行。不仅第 50 页的数据没拿到，之前 49 页的数据如果没实时保存，也可能丢失。

怎么改？

用try-except捕获异常，再加'重试机制'，确保代码'能扛住小问题'：

1. 捕获常见异常：请求超时、连接错误、XPath 解析失败等；
2. 重要数据实时保存：爬一条存一条，别等全部爬完再存；
3. 示例（带异常处理和重试）：

import requests 
from tenacity import retry, stop_after_attempt, wait_exponential 
# 第三方库，处理重试 
headers = {"User-Agent": "你的 UA"} 
# 重试机制：最多重试 3 次，每次等待时间翻倍（1s→2s→4s） 
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=1, max=10)) 
def get_page(url): 
    try: 
        response = requests.get(url, headers=headers, timeout=10) # 超时时间 10s 
        response.raise_for_status() # 若返回 4xx/5xx 错误，抛出异常 
        return response.text 
    except requests.exceptions.Timeout: 
        print(f"请求{url}超时，重试中...") 
        raise # 抛出异常，让 retry 装饰器重试 
    except requests.exceptions.HTTPError as e: 
        print(f"请求{url}失败：{e}，跳过该页") 
        return None # 跳过错误页面，不重试 
# 爬 100 页 
for page in range(1, 101): 
    url = f"https://xxx.com/goods?page={page}" 
    page_content = get_page(url) 
    if page_content: # 解析数据、保存数据（此处省略解析代码） 
        print(f"第{page}页爬取成功") 
    else: 
        print(f"第{page}页爬取失败，跳过") 

错误 5：过度请求无节制，IP 被封'爬不了'

新手想快速爬完数据，会写一个'无延时'的循环：比如每秒爬 10 页，甚至用多线程同时发几十条请求。结果往往是——爬了几分钟，IP 就被网站拉黑，之后再访问该网站，无论是爬虫还是浏览器，都显示'无法访问'。

为什么这是坑？

网站的服务器承载能力有限，短时间内大量请求会被判定为'恶意攻击'（比如 DDoS）。为了保护服务器，网站会直接封禁发起请求的 IP，少则几小时，多则永久封禁。

怎么改？

核心是'模拟真实用户行为，控制请求频率'：

1. 加延时：用time.sleep()在每次请求后停 1-3 秒，比如time.sleep(random.uniform(1, 3))（随机 1-3 秒，更真实）；
2. 用代理 IP 池：如果需要快速爬取，单 IP 不够用，就用代理 IP 轮换请求（注意选高匿代理，避免被识破）；
3. 用 Session 保持连接：用requests.Session()代替requests.get()，复用 TCP 连接，减少对服务器的压力；
4. 示例（加延时 + Session）：

import requests 
import time 
import random 
headers = {"User-Agent": "你的 UA"} 
session = requests.Session() # 建立会话，复用连接 
for page in range(1, 101): 
    url = f"https://xxx.com/goods?page={page}" 
    response = session.get(url, headers=headers) # 解析、保存数据（省略） 
    print(f"第{page}页爬取成功") 
    # 随机延时 1-2 秒 
    time.sleep(random.uniform(1, 2)) 

最后：爬虫的核心不是'偷数据'，而是'合规地拿数据'

新手踩坑的本质，往往是'只关注技术实现，忽略了规则和细节'。其实爬虫不难，但想做好，需要记住：网站是数据的所有者，我们是'访客'，要守规矩、讲礼貌。

避开上面这 5 个错误，你就能解决 80% 的入门问题。如果还遇到其他坑（比如动态渲染页面爬不到、验证码过不去），也不用慌——这些都是进阶问题，慢慢学习Selenium、Playwright或验证码识别工具就能解决。