Python 爬虫入门教程：从零开始学习网络数据采集

Python 爬虫入门教程：从零开始学习网络数据采集 | 极客日志

Python 爬虫入门教程：从零开始学习网络数据采集

随着互联网技术的飞速发展，数据已成为信息时代的核心资产。网络爬虫（Web Scraper）作为一种自动化采集网络数据的工具，在数据分析、市场调研及学术研究等领域发挥着重要作用。Python 凭借其简洁的语法和强大的生态库，成为编写网络爬虫的首选语言。

本教程将带你从零开始学习 Python 爬虫，掌握基本的爬虫技术、解析方法及数据存储方案，并强调合规使用的重要性。

1. 准备工作

在学习 Python 爬虫之前，建议具备以下基础知识：

Python 编程基础：熟悉基本语法、变量、函数、列表、字典等数据结构。
网络基础知识：了解 HTTP 协议、请求方法（GET/POST）、状态码、HTML/CSS 结构等基本概念。

1.1 环境搭建

确保已安装 Python 3.x 版本。推荐使用虚拟环境管理依赖，例如使用 venv 或 conda。

python -m venv crawler_env
source crawler_env/bin/activate  # Windows: crawler_env\Scripts\activate

1.2 安装必要库

常用的爬虫相关库包括 requests（发送请求）、beautifulsoup4（解析 HTML）、selenium（处理动态页面）。

pip install requests beautifulsoup4 selenium lxml

2. 编写第一个爬虫程序

接下来，我们将编写一个简单的爬虫程序，用于获取网页内容并解析其中的信息。

2.1 发送 HTTP 请求

使用 requests 库发送 GET 请求。为了模拟真实浏览器行为，通常需要设置 User-Agent 头部，避免被服务器拦截。

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

try:
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status()  # 如果状态码不是 200，则抛出异常
    response.encoding = response.apparent_encoding  # 自动识别编码
    
    soup = BeautifulSoup(response.text, 'html.parser')
    title = soup.title.string if soup.title else 'No Title'
    print(f"网页标题：{title}")
except Exception as e:
    print(f"请求失败：{e}")

3. 解析网页内容

爬虫程序的核心是解析网页内容。Beautiful Soup 是一个强大的解析库，它可以帮助我们从 HTML 或 XML 文件中提取数据。

3.1 标签导航与查找

# 假设 html_doc 为获取到的网页源码
soup = BeautifulSoup(html_doc, 'html.parser')

# 提取所有链接
links = soup.find_all('a')
for link in links[:5]:  # 仅打印前 5 个
    href = link.get('href')
    text = link.get_text(strip=True)
    print(f"链接：{href}, 文本：{text}")

# 提取段落内容
paragraphs = soup.find_all('p')
for p in paragraphs:
    content = p.get_text(strip=True)
    if content:
        print(f"段落：{content[:50]}...")  # 限制输出长度

3.2 CSS 选择器

Beautiful Soup 支持 CSS 选择器，可以更灵活地定位元素。

# 查找 class 为 'content' 的 div 下的所有 h2 标签
items = soup.select('div.content h2')
for item in items:
    print(item.get_text())

4. 处理动态内容

有些网页的内容是通过 JavaScript 动态加载的，此时静态请求无法获取完整数据。我们需要使用 Selenium 等工具来模拟浏览器行为。

4.1 Selenium 基础用法

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化 Chrome 驱动
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式，不显示浏览器窗口
driver = webdriver.Chrome(options=options)

try:
    driver.get('http://example.com')
    
    # 等待特定元素出现
    wait = WebDriverWait(driver, 10)
    element = wait.until(EC.presence_of_element_located((By.ID, "main-content")))
    
    html = driver.page_source
    print(html[:500])  # 打印部分源码
finally:
    driver.quit()

5. 数据存储

爬取的数据需要持久化存储，常见的格式包括 JSON、CSV 和数据库。

5.1 保存为 JSON

import json

data = [
    {"id": 1, "name": "Item A", "price": 100},
    {"id": 2, "name": "Item B", "price": 200}
]

with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

5.2 保存为 CSV

import csv

with open('data.csv', 'w', newline='', encoding='utf-8-sig') as f:
    writer = csv.DictWriter(f, fieldnames=['id', 'name', 'price'])
    writer.writeheader()
    writer.writerows(data)

6. 进阶技术与最佳实践

掌握了基本技术后，可以进一步学习如何处理表单提交、登录认证、反爬虫机制等高级技术。

6.1 Session 管理

使用 Session 对象可以保持 Cookie 和连接池，提高请求效率。

session = requests.Session()
response = session.get(url, headers=headers)

6.2 反爬虫策略应对

IP 代理：使用代理池轮换 IP 地址。
请求频率控制：使用 time.sleep() 随机延迟，避免高频访问。
验证码处理：对于简单验证码可尝试 OCR 识别，复杂验证码需人工介入。

6.3 错误重试机制

import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

session = requests.Session()
retry = Retry(total=3, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

7. 法律与道德规范

编写爬虫时，务必遵守相关法律法规及目标网站的 robots.txt 协议。

robots.txt：检查网站根目录下的 /robots.txt 文件，确认允许爬取的路径。
版权保护：不得爬取受版权保护的敏感数据用于商业用途。
隐私保护：严禁爬取用户个人隐私信息（如手机号、身份证等）。
服务影响：控制并发量，避免对目标服务器造成拒绝服务攻击（DDoS）。

结语

通过本教程，你已经初步了解了 Python 爬虫的基本原理和技术实现。从环境搭建到数据解析，再到动态页面处理和存储，这些构成了爬虫开发的基础知识体系。希望本教程能够帮助你进入网络爬虫的世界，发现数据的价值和无限可能性。在实际开发中，请始终遵循合法合规的原则，尊重数据所有权。

Python 爬虫入门教程：从零开始学习网络数据采集