介绍 Python 爬虫基础，涵盖请求发送、内容解析、数据保存三大核心流程。详解 requests 与 BeautifulSoup 库的使用，区分静态与动态网页爬取方案（如 Selenium），并提供反爬策略（伪装 UA、延迟、代理 IP）。最后演示将数据保存至 CSV 或 SQLite 数据库的方法，适合初学者快速上手。
爬虫就像一位自动化的'信息采集员'，能帮你自动从网页中提取所需内容，比如批量抓取文章、整理数据表格等。Python 凭借简洁的语法和强大的库支持，成为爬虫开发的首选语言。本文将从基础到实战，带你快速掌握 Python 爬虫核心技能。
爬虫的工作逻辑很简单，三步就能搞定：
Python 爬虫的高效离不开专用库，核心必备两个基础库，进阶场景需额外补充工具：
打开命令行，输入以下命令：
pip install requests beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
以抓取百度首页的标题和所有链接为例，手把手教你落地实操：
用 requests 库向百度首页发送请求，获取 HTML 代码：
import requests
url = 'https://www.baidu.com'
response = requests.get(url)
print(response.text)
关键说明：requests.get(url) 是核心方法，response.text 会返回网页的纯文本 HTML 代码。
用 BeautifulSoup 解析 HTML，先提取网页标题，再批量抓取所有链接：
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')
# 1. 提取网页标题
title = soup.title.text
print('网页标题：', title)
# 2. 提取所有链接（<a>标签的 href 属性）
links = soup.find_all('a')
for link in links:
link_text = link.text
link_url = link.get('href')
print(f'文本：{link_text} | 链接：{link_url}')
关键说明：soup.find_all('a') 可批量匹配指定标签，link.get('href') 用于提取标签的属性值。
根据网页类型和需求，选择不同的爬虫方案：
静态网页爬虫：网页数据直接写在 HTML 中（如简单博客、静态官网），用 requests+BeautifulSoup 即可轻松爬取，适合入门练习；
动态网页爬虫：数据通过 JavaScript 加载（如滚动加载的列表、登录后显示的内容），需用 Selenium 模拟浏览器运行。
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.example.com')
print('动态网页标题：', driver.title)
driver.quit()
很多网站会限制爬虫访问，这 3 个技巧能帮你顺利绕过：
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
response = requests.get(url, headers=headers)
import time
time.sleep(2)
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'https://10.10.1.10:1080'
}
response = requests.get(url, proxies=proxies)
提取数据后，常用两种保存方式，按需选择：
import csv
with open('百度链接.csv', 'w', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(['链接文本', '链接地址'])
for link in links:
writer.writerow([link.text, link.get('href')])
以轻量级 SQLite 为例（无需额外安装数据库）：
import sqlite3
conn = sqlite3.connect('爬虫数据.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS links (text TEXT, url TEXT)')
for link in links:
cursor.execute('INSERT INTO links (text, url) VALUES (?, ?)', (link.text, link.get('href')))
conn.commit()
conn.close()
print('数据已保存到数据库')
通过以上步骤，你已经掌握了 Python 爬虫的核心技能！可以试着爬取自己感兴趣的网站（如博客文章、电影榜单），多练习就能熟练运用。如果遇到具体网站的爬取问题，可针对性调整代码。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online
通过删除不必要的空白来缩小和压缩JSON。 在线工具，JSON 压缩在线工具，online