本文介绍了 Python 爬虫的基础概念、工作原理及核心实现步骤。内容涵盖浏览器与爬虫的区别、requests 库的安装与基本用法、Response 对象属性解析、请求头设置及异常处理。同时强调了 Robots 协议的重要性及爬取过程中的伦理规范，为初学者提供了完整的入门指导与实践建议。
本文旨在帮助初学者理解网络爬虫的基本概念、工作原理及核心实现步骤。通过本教程，读者将掌握使用 Python 进行数据抓取的基础能力。
爬虫（Web Crawler），从本质上来说，就是利用程序在互联网上自动获取对我们有价值的数据的技术。
当用户访问网页时，浏览器的工作流程如下：
爬虫模拟了浏览器的行为，其核心流程包括：
requests 是 Python 中最流行的 HTTP 客户端库。安装方法如下：
pip3 install requestspip install requests提示：安装其他第三方库时通常遵循相同模式，即
pip install 模块名。
该库可以帮我们下载网页源代码、文本、图片，甚至是音频和视频资源。其本质是向服务器发送请求并得到响应。
import requests
# 发送 GET 请求
res = requests.get('https://www.example.com')
requests.get() 调用库中的 get() 方法，括号内的参数是目标网址。服务器响应结果赋值给变量 res。
请求成功后，返回的 Response 对象包含多个重要属性：
打印响应状态码，用于检查请求是否成功。常见的状态码包括：
200：请求成功404：资源未找到500：服务器内部错误print(res.status_code) # 输出 200
以二进制数据形式返回内容，适用于图片、音频、视频的下载。
以字符串形式返回内容，适用于文字、网页源代码的下载。
定义 Response 对象的编码方式。遇到乱码问题时，可手动设置编码。
res.encoding = 'utf-8'
许多网站会检测 User-Agent，伪装成浏览器以避免被拦截。
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
res = requests.get('https://www.example.com', headers=headers)
网络请求可能因超时或连接失败而中断，应添加异常捕获机制。
try:
res = requests.get('https://www.example.com', timeout=5)
res.raise_for_status()
except Exception as e:
print(f"请求失败：{e}")
获取源码后，通常需要使用解析库提取数据。例如使用 BeautifulSoup 或正则表达式。
from bs4 import BeautifulSoup
soup = BeautifulSoup(res.text, 'html.parser')
title = soup.find('h1').text
print(title)
Robots 协议是互联网爬虫的一项公认道德规范，全称'网络爬虫排除标准'（Robots exclusion protocol）。它用来告诉爬虫哪些页面是可以抓取的，哪些不可以。
/robots.txt 即可查看。例如：https://www.taobao.com/robots.txtAllow 和 Disallow。
Allow：代表可以被访问Disallow：代表禁止被访问robots.txt 协议，不抓取受保护的数据。学习 Python 爬虫需要掌握 HTTP 协议基础、Requests 库的使用以及数据解析技巧。除了技术实现外，还需严格遵守网络伦理和法律规范。通过不断实践，可以逐步构建起高效、稳定的数据采集系统。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online