Python 爬虫基础：requests 库详解 | 极客日志

PythonAI算法

Python 爬虫基础：requests 库详解

介绍 Python requests 库的基础使用，包括安装、GET/POST 请求方法、代理设置以及通过 Session 处理 Cookie 登录验证码的流程。重点对比了 requests 与 urllib 的区别，并提供了古诗文网登录示例代码。

魔尊发布于 2026/3/23更新于 2026/4/1611K 浏览

Python 爬虫基础：requests 库详解

1. requests 基本使用

1.1. requests 介绍

requests 是 Python 中一个常用于发送 HTTP 请求的第三方库，它极大地简化了 Web 服务交互的过程。它是唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。

1.2. requests 库的安装

pip install requests

1.3. requests 基础语法

import requests
url = 'http://www.baidu.com'
response = requests.get(url)

1.4. response 的属性以及类型

（1）一个类型：

print(type(response)) # <class 'requests.models.Response'>

（2）六个属性：

# 是指相应的编码格式
response.encoding = 'utf-8' 
# 以字符串形式返回网页源码
print(response.text) 
# 获取请求头
print(response.url) 
# 返回二进制数据
print(response.content) 
# 返回状态码信息
print(response.status_code) 
# 获取响应头信息
print(response.headers)

2. requests 的 get 请求

爬取郑州页面信息，和 urllib 基本差不多，只要明白 urllib，相信 requests 的 get 请求也不会有什么难度。

import requests
url = 'https://www.baidu.com/s?'
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}
data = { "wd":"郑州" }
# url 请求资源路径 params 参数 kwargs 字典
response = requests.get(url=url, params=data, headers=headers)
content = response.text
print(content)

与 urllib 的 get 请求区别：

1、参数需要使用 params 传递 2、参数无需 urlencode 3、不需要请求对象的定制 4、请求资源路径中的？可以省略

极客日志微信公众号二维码

更多推荐文章

相关免费在线工具

加密/解密文本
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。在线工具，加密/解密文本在线工具，online
RSA密钥对生成器
生成新的随机RSA私钥和公钥pem证书。在线工具，RSA密钥对生成器在线工具，online
Mermaid 预览与可视化编辑
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。在线工具，Mermaid 预览与可视化编辑在线工具，online
curl 转代码
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。在线工具，curl 转代码在线工具，online
Base64 字符串编码/解码
将字符串编码和解码为其 Base64 格式表示形式即可。在线工具，Base64 字符串编码/解码在线工具，online
Base64 文件转换器
将字符串、文件或图像转换为其 Base64 表示形式。在线工具，Base64 文件转换器在线工具，online

import requests
import json

url = "https://fanyi.baidu.com/sug"
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36",
    "cookie": "YOUR_COOKIE_STRING"
}
data = { "kw":"eye" }
response = requests.post(url=url, headers=headers, data=data)
content = response.text
content = json.loads(content)
print(content)

import requests

url = "http://www.baidu.com/s?"
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}
data = { "wd":"ip" }
# 代理池
proxy = {
    "http": "YOUR_PROXY_IP:PORT"
}
response = requests.get(url=url, params=data, headers=headers, proxies=proxy)
content = response.text
file = open("ip.html", "w", encoding="utf-8")
file.write(content)
file.close()

import requests
url = "https://www.gushiwen.cn/user/login.aspx?from=http://www.gushiwen.cn/user/collect.aspx"
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}
response = requests.get(url, headers=headers)
content = response.text

from lxml import etree
tree = etree.HTML(content)
__VIEWSTATE = tree.xpath('//input[@name="__VIEWSTATE"]/@value')
__VIEWSTATEGENERATOR = tree.xpath('//input[@name="__VIEWSTATEGENERATOR"]/@value')
print(__VIEWSTATE)
print(__VIEWSTATEGENERATOR)

code = tree.xpath('//img[@id="imgCode"]/@src')[0]
code_url = "https://so.gushiwen.cn" + code

import urllib.request
urllib.request.urlretrieve(url=code_url, filename="code.jpg")
code_name = input("请输入验证码:")

session = requests.session()
response_code = session.get(code_url)
content_code = response_code.content # 此时要使用二进制数据，因为使用的图片的下载
f = open("code.jpg", "wb") # wb 的模式就是将二进制数据写入到文件
f.write(content_code)
f.close()
code_name = input("请输入验证码:")

url_post = "https://www.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fwww.gushiwen.cn%2fuser%2fcollect.aspx"
data_post = {
    "__VIEWSTATE": viewstate,
    "__VIEWSTATEGENERATOR": viewstategenerator,
    "from": "http://www.gushiwen.cn/user/collect.aspx",
    "email": "YOUR_EMAIL",
    "pwd": "YOUR_PASSWORD",
    "code": code_name,
    "denglu": "登录"
}
response_post = session.post(url=url_post, headers=headers, data=data_post)
content_post = response_post.text
f = open("古诗文.html", "w", encoding="utf-8")
f.write(content_post)

import requests
from lxml import etree

url = "https://www.gushiwen.cn/user/login.aspx?from=http://www.gushiwen.cn/user/collect.aspx"
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}
response = requests.get(url, headers=headers)
content = response.text

tree = etree.HTML(content)
viewstate = tree.xpath('//input[@name="__VIEWSTATE"]/@value')[0]
viewstategenerator = tree.xpath('//input[@name="__VIEWSTATEGENERATOR"]/@value')[0]
code = tree.xpath('//img[@id="imgCode"]/@src')[0]
code_url = "https://so.gushiwen.cn" + code

session = requests.session()
response_code = session.get(code_url)
content_code = response_code.content
f = open("code.jpg", "wb")
f.write(content_code)
f.close()
code_name = input("请输入验证码:")

url_post = "https://www.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fwww.gushiwen.cn%2fuser%2fcollect.aspx"
data_post = {
    "__VIEWSTATE": viewstate,
    "__VIEWSTATEGENERATOR": viewstategenerator,
    "from": "http://www.gushiwen.cn/user/collect.aspx",
    "email": "YOUR_EMAIL",
    "pwd": "YOUR_PASSWORD",
    "code": code_name,
    "denglu": "登录"
}
response_post = session.post(url=url_post, headers=headers, data=data_post)
content_post = response_post.text
f = open("古诗文.html", "w", encoding="utf-8")
f.write(content_post)