Python 入门推荐从爬虫入手。本文介绍基础语法、requests 库、BeautifulSoup 解析及数据存储方法。通过百度和 B 站接口实战演示请求、解析、存储流程。强调环境配置、异常处理及反爬策略应对。适合零基础学习者建立完整开发认知。
Python 因其语法简洁、库丰富且易于上手，成为初学者学习网络爬虫的首选语言。虽然网络上有关于爬虫法律风险的传言，但正规的爬虫技术广泛应用于数据采集、市场分析和自动化测试等领域，具有广阔的市场前景。
在开始之前，请确保已安装 Python 3.x 版本。建议使用虚拟环境（如 venv 或 conda）来管理依赖包，避免污染系统环境。
python -m venv my_env
source my_env/bin/activate # Windows: my_env\Scripts\activate
爬虫开发主要依赖以下第三方库：
requests：用于发送 HTTP 请求。BeautifulSoup4 (bs4)：用于解析 HTML 和 XML 文档。lxml：高性能的 XML/HTML 解析器。json：处理 JSON 数据（Python 内置）。pip install requests beautifulsoup4 lxml
掌握基本语法是前提，包括变量、数据类型、流程控制（if/for/while）、函数定义及模块导入。
爬虫的核心在于理解网络协议。需重点掌握：
requests 库简化网络请求操作。获取 HTML 后，需要提取目标数据。主流方案包括：
采集到的数据需持久化存储。常见方式有：
爬虫的基本流程通常分为三步：发送请求 -> 解析数据 -> 存储结果。以下通过两个案例演示。
本例演示如何获取百度首页标题。
import requests
from bs4 import BeautifulSoup
url = 'https://www.baidu.com'
try:
# 设置 User-Agent 模拟浏览器访问，防止被反爬
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers, timeout=10)
response.encoding = response.apparent_encoding
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
print(f"页面标题：{title}")
else:
print(f"请求失败，状态码：{response.status_code}")
except Exception as e:
print(f"发生错误：{e}")
本例演示如何通过 API 接口获取视频列表信息。注意：实际开发中应动态获取参数，而非硬编码。
通过浏览器开发者工具（F12）的 Network 面板，定位到搜索相关的 AJAX 请求。观察 URL 参数，如 keyword（关键词）、page（页码）等。
import requests
import time
import random
import json
def fetch_video_data(keyword, page=1):
url = "https://api.bilibili.com/x/web-interface/search/type"
params = {
'search_type': 'video',
'keyword': keyword,
'page': page,
'page_size': 20
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
try:
response = requests.get(url, params=params, headers=headers, timeout=10)
data = response.json()
if data['code'] == 0:
items = data['data']['result']
for item in items:
video_info = {
'title': item.get('title'),
'author': item.get('owner', {}).get('name'),
'play_count': item.get('stat', {}).get('view'),
'url': f"https://www.bilibili.com/video/{item.get('bvid')}"
}
print(json.dumps(video_info, ensure_ascii=False))
else:
print("API 返回错误")
except Exception as e:
print(f"请求异常：{e}")
# 循环抓取多页数据
if __name__ == '__main__':
keyword = "Python 教程"
for i in range(1, 3): # 抓取前 2 页
fetch_video_data(keyword, page=i)
# 遵守反爬策略，随机延时
time.sleep(random.uniform(1.0, 3.0))
网络请求受环境影响大，必须使用 try-except 捕获超时、连接拒绝等异常，保证程序健壮性。
robots.txt 协议。通过上述学习路径，初学者可以逐步掌握 Python 爬虫的核心技能。建议从简单的静态页面入手，再过渡到动态渲染页面和 API 接口。持续实践项目是巩固知识的关键，同时务必保持对法律法规和技术伦理的关注。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online