本文介绍 Python 网络爬虫的基础知识与应用。内容包括基于 FastAPI 搭建 Web 服务器及通用配置，讲解爬虫基本步骤（请求、解析、入库），演示使用 requests 模块爬取图片和 GDP 数据。此外，还涉及多任务爬虫实现以提升效率，利用 pyecharts 进行数据可视化展示，以及 logging 日志模块在 Web 项目中的应用与配置。通过实际代码示例，帮助读者掌握从数据采集到可视化的完整流程。
# 导入 FastAPI 模块
from fastapi import FastAPI
# 导入响应报文 Response 模块
from fastapi import Response
# 导入服务器 uvicorn 模块
import uvicorn
app = FastAPI()
():
(, ) f:
data = f.read()
Response(content=data, media_type=)
uvicorn.run(app, host=, port=)
实际上 Web 服务器和浏览器的通讯流程过程并不是一次性完成的，这里 html 代码中也会有访问服务器的代码，比如请求图片资源。
那像 0.jpg、1.jpg、2.jpg 这些访问来自哪里呢？答：它们来自 index.html。
浏览器访问 Web 服务器的通讯流程：
浏览器 (127.0.0.1/index.html) ==> 向 Web 服务器 请求 index.htmlWeb 服务器 (返回 index.html) ==> 浏览器浏览器 解析 index.html 发现需要 0.jpg ==> 发送请求给 Web 服务器 请求 0.jpgWeb 服务器 收到请求返回 0.jpg ==> 浏览器 接受 0.jpg通讯过程能够成功的前提：
浏览器 发送的 0.jpg 请求，Web 服务器 可以做出响应，也就是代码如下：
# 当浏览器发出对图片 0.jpg 的请求时，函数返回相应资源
@app.get("/images/0.jpg")
def func_01():
with open("source/images/0.jpg", "rb") as f:
data = f.read()
print(data)
return Response(content=data, media_type="jpg")
# 导入 FastAPI 模块
from fastapi import FastAPI
# 导入响应报文 Response 模块
from fastapi import Response
# 导入服务器 uvicorn 模块
import uvicorn
# 创建 FastAPI 框架对象
app = FastAPI()
@app.get("/images/0.jpg")
def func_01():
with open("source/images/0.jpg", "rb") as f:
data = f.read()
print(data)
return Response(content=data, media_type="jpg")
@app.get("/images/1.jpg")
def func_02():
with open("source/images/1.jpg", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
@app.get("/images/2.jpg")
def func_03():
with open("source/images/2.jpg", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
@app.get("/images/3.jpg")
def func_04():
with open("source/images/3.jpg", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
@app.get("/images/4.jpg")
def func_05():
with open("source/images/4.jpg", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
@app.get("/images/5.jpg")
def func_06():
with open("source/images/5.jpg", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
@app.get("/images/6.jpg")
def func_07():
with open("source/images/6.jpg", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
@app.get("/index.html")
def main():
with open("source/html/index.html", "rb") as f:
data = f.read()
# return 返回响应数据
# Response(content=data, media_type="text/source"
# 参数 1: 响应数据
# 参数 2: 数据格式
return Response(content=data, media_type="text/html")
# 运行服务器
# 参数 1: 框架对象
# 参数 2: IP 地址
# 参数 3: 端口号
uvicorn.run(app, host="127.0.0.1", port=8000)
# 返回 0.jpg
@app.get("/images/0.jpg")
def func_01():
with open("source/images/0.jpg", "rb") as f:
data = f.read()
print(data)
return Response(content=data, media_type="jpg")
# 返回 1.jpg
@app.get("/images/1.jpg")
def func_02():
with open("source/images/1.jpg", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
# 返回 2.jpg
@app.get("/images/2.jpg")
def func_03():
with open("source/images/2.jpg", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
对以上代码观察，会发现每一张图片 0.jpg、1.jpg、2.jpg 就需要一个函数对应，如果我们需要 1000 张图片那就需要 1000 个函数对应，显然这样做代码的重复太多了。
# 当请求为 /images/0.jpg 时，path ==> 0.jpg
@app.get("/images/{path}")
# 注意这里的参数需要设置为 path
# path : str ==> 指定 path 为字符串类型的数据
def get_pic(path: str):
# 这里 open() 的路径就是 ==> f"source/images/0.jpg"
with open(f"source/images/{path}", "rb") as f:
data = f.read()
# return 返回响应数据
# Response(content=data, media_type="jpg"
# 参数 1: 响应数据
# 参数 2: 数据格式
return Response(content=data, media_type="jpg")
完整代码：
# 导入 FastAPI 模块
from fastapi import FastAPI
# 导入响应报文 Response 模块
from fastapi import Response
# 导入服务器 uvicorn 模块
import uvicorn
# 创建 FastAPI 框架对象
app = FastAPI()
# 当请求为 /images/0.jpg 时，path ==> 0.jpg
@app.get("/images/{path}")
def get_pic(path: str):
with open(f"source/images/{path}", "rb") as f:
data = f.read()
return Response(content=data, media_type="jpg")
@app.get("/{path}")
def get_html(path: str):
with open(f"source/html/{path}", 'rb') as f:
data = f.read()
return Response(content=data, media_type="text/html")
# 运行服务器
uvicorn.run(app, host="127.0.0.1", port=8000)
运行结果：
网络爬虫： 又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
通俗理解： 简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。
你可以简单地想象：每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样。
百度其实就是利用了这种爬虫技术，每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。
有了这样的特性，对于一些自己公司数据量不足的小公司，这个时候还想做数据分析就可以通过爬虫获取同行业的数据然后进行分析，进而指导公司的策略制定。
基本步骤：
快速入门（requests 三步走）：
# 导入模块
import requests
# 通过 requests.get() 发送请求
# data 保存返回的响应数据 (这里的响应数据不是单纯的 html，需要通过 content 获取 html 代码)
data = requests.get("http://www.baidu.com")
# 通过 data.content 获取 html 代码
data = data.content.decode("utf-8")
# 通过爬虫向 index.html 发送请求
# requests.get(网址): 向一个网址发送请求，和在浏览器中输入网址是一样的
data = requests.get("http://127.0.0.1:8000/index.html")
# content 可以把 requests.get() 获取的返回值中的 html 内容获取到
data = data.content.decode("utf-8")
import re
# 获取图片的请求 url
def get_pic_url():
# 通过爬虫向 index.html 发送请求
data = requests.get("http://127.0.0.1:8000/index.html")
# content 可以把 requests.get() 获取的返回值中的 html 内容获取到
data = data.content.decode("utf-8")
# html 每一行都有 " ", 对 html 进行分割获得一个列表
data = data.split(" ")
# 创建一个列表存储所有图片的 url 地址 (也就是图片网址)
url_list = []
for url in data:
# 通过正则解析出所有的图片 url
result = re.match('.*src="(.*)" width.*', url)
if result is not None:
# 把解析出来的图片 url 添加到 url_list 中
url_list.append(result.group(1))
return url_list
# 把爬取到的图片保存到本地
def save_pic(url_list):
# 通过 num 给照片起名字 例如:0.jpg 1.jpg 2.jpg
num = 0
for url in url_list:
# 通过 requests.get() 获取每一张图片
pic = requests.get(f"http://127.0.0.1:8000{url[1:]}")
# 保存每一张图片
with open(f"./source/spyder/{num}.jpg", "wb") as f:
f.write(pic.content)
num += 1
通过访问 http://127.0.0.1:8080/gdp.html 可以获取 2020 年世界 GDP 排名。在这里我们通过和爬取照片一样的流程步骤获取 GDP 数据。
zip() 函数：用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。
a = [1, 2, 3]
b = [4, 5, 6]
c = [4, 5, 6, 7, 8]
# 打包为元组的列表
zipped = zip(a, b)
# 注意使用的时候需要 list 转化
print(list(zipped))
# >>> [(1, 4), (2, 5), (3, 6)]
# 元素个数与最短的列表一致
zipped = zip(a, c)
print(list(zipped))
# >>> [(1, 4), (2, 5), (3, 6)]
import requests
import re
# 存储爬取到的国家的名字
country_list = []
# 存储爬取到的国家 gdp 的数据
gdp_list = []
# 获取 gdp 数据
def get_gdp_data():
global country_list
global gdp_list
# 获取 gdp 的 html 数据
data = requests.get("http://localhost:8000/gdp.html")
# 对获取数据进行解码
data = data.content.decode("utf8")
# 对 gdp 的 html 数据进行按行分割
data_list = data.split(" ")
for i in data_list:
# 对 html 进行解析获取<国家名字>
country_result = re.match('.*<a><font>(.*)</font></a>', i)
# 匹配成功就存放到列表中
if country_result is not None:
country_list.append(country_result.group(1))
# 对 html 进行解析获取<gdp 数据>
gdp_result = re.match(".*￥(.*)亿元", i)
# 匹配成功就存储到列表中
if gdp_result is not None:
gdp_list.append(gdp_result.group(1))
# 把两个列表融合成一个列表
gdp_data = list(zip(country_list, gdp_list))
print(gdp_data)
if __name__ == '__main__':
get_gdp_data()
在我们的案例中，我们只是爬取了 2 个非常简单的页面，这两个页面的数据爬取并不会使用太多的时间，所以我们也没有太多的考虑效率问题。
但是在真正的工作环境中，我们爬取的数据可能非常的多，如果还是使用单任务实现，这时候就会让我们爬取数据的时间很长，那么显然使用多任务可以大大提升我们爬取数据的效率。
实际上实现多任务并不难，只需要使用多进程就可以了。
import multiprocessing
# 获取 gdp
def get_gdp_data():
pass
# 获取照片
def get_pic():
pass
if __name__ == '__main__':
p1 = multiprocessing.Process(target=get_pic)
p2 = multiprocessing.Process(target=get_gdp_data)
p1.start()
p2.start()
数据可视化：顾名思义就是让数据看的到，他的作用也很明显，让人们不用再去阅读枯燥无味的数据，一眼看去就可以明白数据是什么，数据间的关系是什么，更好的让我们通过数据发现潜在的规律进而进行商业决策。
概况： Echarts 是个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。而 Python 是门富有表达力的语言，很适合用于数据处理。当数据分析遇上数据可视化时 pyecharts 诞生了。
特性：
导入模块：
# 导入饼图模块
from pyecharts.charts import Pie
# 导入配置选项模块
import pyecharts.options as opts
初始化饼状图：
Pie() 函数：创建饼图 opts.InitOpts 参数：Pie(init_opts=opts.InitOpts(width="1400px", height="800px")) init_opts：指定参数名 opts.InitOpts：配置选项 width="1400px" height="800px"：界面的宽度和高度
# 创建饼图并设置这个界面的长和高
# px:像素单位
pie = Pie(init_opts=opts.InitOpts(width="1400px",))
给饼图添加数据：
add() 函数： 参数 1: 名称 参数 2: 具体数据，数据类型为=>[(a,b),(a,b),(a,b)]=>a 为数据名称，b 为数据大小 参数 3: 标签设置 label_opts=opts.LabelOpts(formatter='{b}:{d}%') 符合百分比的形式
# 给饼图添加数据
pie.add(
"GDP",
data,
label_opts=opts.LabelOpts(formatter='{b}:{d}%')
)
给饼图添设置标题：
set_global_opts() 函数： title_opts=opts.TitleOpts：设置标题 title="2020 年世界 GDP 排名", subtitle="美元"：设置主标题和副标题
# 给饼图设置标题
pie.set_global_opts(title_opts=opts.TitleOpts(title="2020 年世界 GDP 排名", subtitle="美元"))
保存数据：
# 保存结果
pie.render()
import requests
import re
# 导入饼图模块
from pyecharts.charts import Pie
# 导入配置选项模块
import pyecharts.options as opts
# 存储爬取到的国家的名字
country_list = []
# 春初爬取到的国家 gdp 的数据
gdp_list = []
def get_gdp_data():
global country_list
global gdp_list
# 获取 gdp 的 html 数据
data = requests.get("http://localhost:8000/gdp.html")
# 对获取数据进行解码
data = data.content.decode("utf8")
# 对 gdp 的 html 数据进行按行分割
data_list = data.split(" ")
for i in data_list:
# 对 html 进行解析获取<国家名字>
country_result = re.match('.*<a><font>(.*)</font></a>', i)
# 匹配成功就存放到列表中
if country_result is not None:
country_list.append(country_result.group(1))
# 对 html 进行解析获取<gdp 数据>
gdp_result = re.match(".*￥(.*)亿元", i)
# 匹配成功就存储到列表中
if gdp_result is not None:
gdp_list.append(gdp_result.group(1))
# 创建一个饼状图显示 GDP 前十的国家
def data_view_pie():
# 获取前十的过的 GDP 数据，同时让数据符合 [(),()...] 的形式
data = list(zip(country_list[:10], gdp_list[:10]))
# 创建饼图
pie = Pie(init_opts=opts.InitOpts(width="1400px",))
# 给饼图添加数据
pie.add(
"GDP",
data,
label_opts=opts.LabelOpts(formatter='{b}:{d}%')
)
# 给饼图设置标题
pie.set_global_opts(title_opts=opts.TitleOpts(title="2020 年世界 GDP 排名", subtitle="美元"))
# 保存结果
pie.render()
if __name__ == '__main__':
# 获取 GDP 数据
get_gdp_data()
# 生成可视化饼图
data_view_pie()
可视化
在现实生活中，记录日志非常重要，比如：银行转账时会有转账记录；飞机飞行过程中，会有个黑盒子（飞行数据记录器）记录着飞机的飞行过程，那在咱们 python 程序中想要记录程序在运行时所产生的日志信息，怎么做呢？
可以使用 logging 这个包来完成。
记录程序日志信息的目的是：
日志等级可以分为 5 个，从低到高分别是：
日志等级说明：
在 logging 包中记录日志的方式有两种：
日志信息输出到控制台的示例代码：
import logging
logging.debug('这是一个 debug 级别的日志信息')
logging.info('这是一个 info 级别的日志信息')
logging.warning('这是一个 warning 级别的日志信息')
logging.error('这是一个 error 级别的日志信息')
logging.critical('这是一个 critical 级别的日志信息')
运行结果：
WARNING:root:这是一个 warning 级别的日志信息
ERROR:root:这是一个 error 级别的日志信息
CRITICAL:root:这是一个 critical 级别的日志信息
说明： 日志信息只显示了大于等于 WARNING 级别的日志，这说明默认的日志级别设置为 WARNING。
logging 日志等级和输出格式的设置：
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s')
logging.debug('这是一个 debug 级别的日志信息')
logging.info('这是一个 info 级别的日志信息')
logging.warning('这是一个 warning 级别的日志信息')
logging.error('这是一个 error 级别的日志信息')
logging.critical('这是一个 critical 级别的日志信息')
运行结果：
2019-02-13 20:41:33,080 - hello.py[line:6] - DEBUG: 这是一个 debug 级别的日志信息
2019-02-13 20:41:33,080 - hello.py[line:7] - INFO: 这是一个 info 级别的日志信息
2019-02-13 20:41:33,080 - hello.py[line:8] - WARNING: 这是一个 warning 级别的日志信息
2019-02-13 20:41:33,080 - hello.py[line:9] - ERROR: 这是一个 error 级别的日志信息
2019-02-13 20:41:33,080 - hello.py[line:10] - CRITICAL: 这是一个 critical 级别的日志信息
代码说明：
日志信息保存到日志文件的示例代码：
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s',
filename="log.txt",
filemode="w")
logging.debug('这是一个 debug 级别的日志信息')
logging.info('这是一个 info 级别的日志信息')
logging.warning('这是一个 warning 级别的日志信息')
logging.error('这是一个 error 级别的日志信息')
logging.critical('这是一个 critical 级别的日志信息')
运行结果：
使用 logging 日志示例：
@app.get("/{path}")
def get_html(path: str):
with open(f"source/html/{path}") as f:
data = f.read()
# 打 log
logging.info("访问了" + path)
return Response(content=data, media_type="text/html")
访问 index.html 时进行日志输出，示例代码：
@app.get("/images/{path}")
def get_pic(path: str):
with open(f"source/images/{path}", "rb") as f:
data = f.read()
# 打 log
logging.info("访问了" + path)
return Response(content=data, media_type="jpg")
程序入口模块设置 logging 日志的设置：
from fastapi import FastAPI
from fastapi import Response
import uvicorn
import logging
app = FastAPI()
# 配置日志
logging.basicConfig(level=logging.INFO,
format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s',
filename="log.txt",
filemode="w")
logging 日志：
通过日志信息我们得知，index.html 被访问了 2 次，gdp.html 被访问了 2 次。
说明：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML 转 Markdown 互为补充。 在线工具，Markdown 转 HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML 转 Markdown在线工具，online