系统梳理了 Python 爬虫的核心知识框架，涵盖网络基础、Python 语法、数据获取、解析与存储三大关键环节。详细介绍了 requests 库的使用、BeautifulSoup、XPath 及正则表达式的解析技巧，以及 CSV、JSON 和 MySQL 等存储方案。同时补充了动态页面处理、反爬策略及 Scrapy 框架等进阶内容，为学习者提供完整的入门与实践指导。
Python 因其简洁的语法和丰富的库支持，成为网络爬虫开发的首选语言。本文旨在为初学者梳理 Python 爬虫的知识体系，涵盖从基础环境搭建到数据获取、解析及存储的全流程，并提供关键代码示例，帮助读者建立清晰的技术框架。
在开始编写爬虫代码之前，掌握必要的计算机网络知识和 Python 基础是至关重要的。
爬虫的本质是模拟浏览器向服务器发送请求并接收响应。因此，理解以下概念是必须的：
不需要精通所有特性，但必须熟练掌握以下核心内容：
获取数据是爬虫的第一步。Python 中最常用的请求库是 requests，它封装了 urllib 的复杂细节，使用简单高效。
pip install requests
import requests
url = 'https://example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
}
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status() # 如果状态码不是 200，抛出异常
print(response.text[:500]) # 打印前 500 字符预览
except Exception as e:
print(f"请求失败：{e}")
对于通过 JavaScript 渲染的动态页面，简单的 requests 可能无法获取完整数据。此时可考虑：
获取到 HTML 源码后，需要从中提取出结构化数据。
适合处理结构良好的 HTML，语法直观。
from bs4 import BeautifulSoup
html_doc = "<html><body><div id='news'>Hello</div></body></html>"
soup = BeautifulSoup(html_doc, 'lxml')
print(soup.find('div', id='news').text)
功能强大，适合复杂层级结构，常配合 lxml 库使用。
from lxml import etree
tree = etree.HTML(html_doc)
result = tree.xpath('//div[@id="news"]/text()')
print(result[0] if result else None)
适用于提取特定格式的字符串，如邮箱、手机号，但维护成本较高。
import re
text = "Contact: [email protected]"
pattern = r'\w+@\w+\.\w+'
match = re.search(pattern, text)
if match:
print(match.group())
解析后的数据需要持久化保存，常见方式包括文件和数据库。
csv 模块。json 模块。openpyxl 或 pandas。import json
data = {"name": "Alice", "age": 25}
with open('data.json', 'w', encoding='utf-8') as f:
json.dump(data, f, ensure_ascii=False, indent=4)
pymysql 或 sqlalchemy。pymongo。import pymysql
conn = pymysql.connect(host='localhost', user='root', password='pwd', db='test')
cursor = conn.cursor()
cursor.execute("INSERT INTO users (name) VALUES (%s)", ("Bob",))
conn.commit()
cursor.close()
conn.close()
随着爬虫技术的发展，网站反爬机制日益完善。进阶学习方向包括：
Python 爬虫学习路径清晰：先夯实 Python 语法与网络基础，再掌握 Requests 与解析库，最后根据需求选择存储方案。实践是学习的唯一途径，建议在合法合规的前提下，多动手编写小项目来巩固知识。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online