Python开发从入门到精通：异步编程与协程

Ne0inhk

— 7 min read
Python开发从入门到精通：异步编程与协程

《Python开发从入门到精通》设计指南第二十一篇：异步编程与协程

在这里插入图片描述

一、学习目标与重点

💡 学习目标：掌握Python异步编程的基本概念和方法，包括协程、任务调度、事件循环等；学习asyncio、aiohttp等核心库的使用；通过实战案例开发异步应用程序。
⚠️ 学习重点：协程的定义与使用、任务调度、事件循环、asyncio库、aiohttp库、异步编程实战。

21.1 异步编程概述

21.1.1 什么是异步编程

异步编程是一种并发编程方式，通过非阻塞的操作提高程序的执行效率。在异步编程中，程序可以在等待I/O操作完成时继续执行其他任务，而不需要阻塞等待。

21.1.2 异步编程的优势

  • 提高执行效率：在等待I/O操作完成时，程序可以继续执行其他任务。
  • 降低资源消耗：减少了线程切换的开销。
  • 简化代码结构：通过协程和任务调度，代码结构更加简洁。

21.1.3 异步编程的应用场景

  • 网络通信：如HTTP请求、Web服务器、WebSocket通信等。
  • 文件操作：如大文件的读取和写入。
  • 数据库操作：如异步数据库查询。

21.2 协程的定义与使用

21.2.1 协程的定义

协程（Coroutine）是一种轻量级的线程，可以在程序中进行暂停和恢复。在Python中，协程可以通过async def关键字定义。

21.2.2 协程的使用

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 运行协程 asyncio.run(hello())

21.2.3 协程的暂停与恢复

import asyncio # 定义协程asyncdefcount():print('Counting...')await asyncio.sleep(1)print('Counted!')# 运行多个协程asyncdefmain():await asyncio.gather(count(), count(), count()) asyncio.run(main())

21.3 任务调度

21.3.1 创建任务

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 创建任务asyncdefmain(): task1 = asyncio.create_task(hello()) task2 = asyncio.create_task(hello())await task1 await task2 asyncio.run(main())

21.3.2 任务的取消

import asyncio # 定义协程asyncdefhello():try:print('Hello, World!')await asyncio.sleep(1)print('Hello again!')except asyncio.CancelledError:print('Task cancelled!')# 创建任务并取消asyncdefmain(): task = asyncio.create_task(hello())await asyncio.sleep(0.5) task.cancel()try:await task except asyncio.CancelledError:print('Main: Task cancelled!') asyncio.run(main())

21.3.3 任务的超时

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(2)print('Hello again!')# 任务超时asyncdefmain():try:await asyncio.wait_for(hello(), timeout=1)except asyncio.TimeoutError:print('Task timed out!') asyncio.run(main())

21.4 事件循环

21.4.1 事件循环的概述

事件循环是异步编程的核心组件，负责调度任务的执行。事件循环会不断地从任务队列中取出任务并执行，直到任务队列为空。

21.4.2 获取事件循环

import asyncio # 获取事件循环 loop = asyncio.get_event_loop()# 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 运行协程 loop.run_until_complete(hello())

21.4.3 事件循环的运行

import asyncio # 获取事件循环 loop = asyncio.get_event_loop()# 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 运行多个协程 loop.run_until_complete(asyncio.gather(hello(), hello(), hello()))

21.5 asyncio库

21.5.1 asyncio的基本用法

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 运行协程 asyncio.run(hello())

21.5.2 asyncio的常用函数

  • asyncio.run()：运行协程。
  • asyncio.create_task()：创建任务。
  • asyncio.gather()：收集多个协程的结果。
  • asyncio.wait_for()：等待协程完成，设置超时。
  • asyncio.sleep()：暂停协程。

21.5.3 asyncio的高级用法

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 使用Future对象asyncdefmain(): future = asyncio.Future() task = asyncio.create_task(hello()) task.add_done_callback(lambda t: future.set_result(t.result()))await future asyncio.run(main())

21.6 aiohttp库

21.6.1 安装aiohttp

pip install aiohttp

21.6.2 发送HTTP请求

import aiohttp import asyncio # 发送GET请求asyncdeffetch(session, url):asyncwith session.get(url)as response:returnawait response.text()asyncdefmain():asyncwith aiohttp.ClientSession()as session: html =await fetch(session,'https://www.example.com')print(html) asyncio.run(main())

21.6.3 发送POST请求

import aiohttp import asyncio import json # 发送POST请求asyncdefpost_data(session, url, data):asyncwith session.post(url, data=data)as response:returnawait response.text()asyncdefmain():asyncwith aiohttp.ClientSession()as session: data ={'name':'张三','age':25} response =await post_data(session,'https://httpbin.org/post', data)print(response) asyncio.run(main())

21.6.4 发送JSON请求

import aiohttp import asyncio import json # 发送JSON请求asyncdefpost_json(session, url, data):asyncwith session.post(url, json=data)as response:returnawait response.text()asyncdefmain():asyncwith aiohttp.ClientSession()as session: data ={'name':'张三','age':25} response =await post_json(session,'https://httpbin.org/post', data)print(response) asyncio.run(main())

21.7 实战案例：异步HTTP客户端

21.7.1 需求分析

开发一个异步HTTP客户端，支持以下功能：

  • 发送HTTP请求。
  • 并发发送多个HTTP请求。
  • 处理响应数据。

21.7.2 代码实现

import aiohttp import asyncio import time # 发送HTTP请求asyncdeffetch(session, url): start_time = time.time()asyncwith session.get(url)as response: text =await response.text() elapsed_time = time.time()- start_time return url,len(text), elapsed_time # 并发发送HTTP请求asyncdefmain(): urls =['https://www.example.com','https://www.google.com','https://www.github.com','https://www.python.org','https://www.djangoproject.com']asyncwith aiohttp.ClientSession()as session: tasks =[asyncio.create_task(fetch(session, url))for url in urls] results =await asyncio.gather(*tasks)for url, length, elapsed_time in results:print(f'URL: {url}, 响应长度: {length}, 耗时: {elapsed_time:.2f}秒')# 运行程序if __name__ =='__main__': start_time = time.time() asyncio.run(main()) elapsed_time = time.time()- start_time print(f'总耗时: {elapsed_time:.2f}秒')

21.7.3 实施过程

  1. 安装aiohttp库。
  2. 定义发送HTTP请求的协程函数。
  3. 定义并发发送HTTP请求的协程函数。
  4. 运行程序。

21.7.4 最终效果

通过异步HTTP客户端，我们可以实现以下功能：

  • 发送HTTP请求。
  • 并发发送多个HTTP请求。
  • 处理响应数据。

21.8 实战案例：异步Web服务器

21.8.1 需求分析

开发一个异步Web服务器，支持以下功能：

  • 处理HTTP请求。
  • 提供静态文件服务。
  • 实现简单的API接口。

21.8.2 代码实现

from aiohttp import web import asyncio # 处理根路径请求asyncdefhandle_root(request):return web.Response(text='Hello, World!')# 处理API接口请求asyncdefhandle_api(request): data ={'name':'张三','age':25}return web.json_response(data)# 提供静态文件服务asyncdefhandle_static(request):return web.FileResponse('static/index.html')# 创建Web应用asyncdefcreate_app(): app = web.Application()# 添加路由 app.add_routes([ web.get('/', handle_root), web.get('/api', handle_api), web.get('/static/{name}', handle_static)])return app # 运行Web服务器if __name__ =='__main__': asyncio.run(web.run_app(create_app(), host='localhost', port=8080))

21.8.3 实施过程

  1. 安装aiohttp库。
  2. 定义处理HTTP请求的协程函数。
  3. 创建Web应用。
  4. 添加路由。
  5. 运行Web服务器。

21.8.4 最终效果

通过异步Web服务器，我们可以实现以下功能：

  • 处理HTTP请求。
  • 提供静态文件服务。
  • 实现简单的API接口。

总结

✅ 本文详细介绍了Python异步编程的基本概念和方法，包括协程、任务调度、事件循环等；学习了asyncio、aiohttp等核心库的使用；通过实战案例开发了异步HTTP客户端和异步Web服务器。
✅ 建议读者在学习过程中多练习，通过编写代码加深对知识点的理解。

Read more

华为OD机试双机位C卷-员工派遣(Py/Java/C/C++/Js/Go)

华为OD机试双机位C卷-员工派遣(Py/Java/C/C++/Js/Go)

员工派遣 华为OD机试双机位C卷 - 华为OD上机考试双机位C卷 200分题型 华为OD机试双机位C卷真题目录点击查看: 华为OD机试双机位C卷真题题库目录｜机考题库 + 算法考点详解 题目描述 某公司部门需要派遣员工去国外做项目。 现在，代号为 x 的国家和代号为 y 的国家分别需要 cntx 名和 cnty 名员工。 部门每个员工有一个员工号（1,2,3,…），工号连续，从1开始。 部长派遣员工的规则： * 规则1：从 [1, k] 中选择员工派遣出去 * 规则2：编号为 x 的倍数的员工不能去 x 国，编号为 y 的倍数的员工不能去 y 国。 问题： 找到最小的 k，使得可以将编号在 [1, k]

By Ne0inhk
Python中的“==“与“is“：深入解析与Vibe Coding时代的优化实践

Python中的“==“与“is“：深入解析与Vibe Coding时代的优化实践

🌟 Python中的"=="与"is"：深入解析与Vibe Coding时代的优化实践 * 1. 🧐 `==`与`is`的本质区别 * 2. 🕵️‍♂️ `is`判断对象身份 - 数组与常量池案例 * 案例1：列表对象的身份 * 案例2：小整数常量池 * 案例3：字符串驻留 * 3. 🔍 `==`与`__eq__`魔法函数 * 4. 🔎 类型判断的正确姿势：使用`is` * 5. 🚀 Vibe Coding时代的提示词优化 * 场景1：解释概念 * 场景2：代码生成 * 场景3：调试帮助 * 📊 对比总结表 * 💡 实际应用建议 * 🌈 结语 在Python的奇妙世界中，==和is这两个看似简单的操作符常常让初学者感到困惑。它们如同双胞胎，外表相似却性格迥异。本文将带你深入探索它们的区别，并通过生动的案例和图表展示它们的应用场景，

By Ne0inhk
微分的本质：从“变化率”到“线性映射”的飞跃 —— 可视化 Python 教程

微分的本质：从“变化率”到“线性映射”的飞跃 —— 可视化 Python 教程

引言 微积分是科学的语言，而微分是其灵魂。从一维导数到流形上的切映射，微分的本质始终是一个线性映射。本文将从这一核心观点出发，系统梳理微积分中一系列重要概念：导数、微分、雅可比矩阵、方向导数、梯度、链式法则、Hessian、切映射、拉回等，揭示它们背后的统一结构。更重要的是，我们将用 Python 代码可视化这些概念，让你直观地看到微分如何“线性化”非线性函数。 本文所有代码均使用 Python 3 + NumPy + Matplotlib 编写，你可以复制到自己的环境中运行，观察图形变化。 1. 一维导数的重新解读——从“数”到“线性映射” 1.1 传统定义的局限 对于一元函数 (f:\mathbb{R}\to\mathbb{R})，导数定义为 [ f’

By Ne0inhk
【Python】家庭用电数据分析Prophet预测

【Python】家庭用电数据分析Prophet预测

数据集：Household Electricity Consumption | Kaggle 目录 数据集简介 探索性分析 Prophet预测 Prophet模型 Prophet理念 Prophet优点 数据集简介 240000-household-electricity-consumption-records数据集包含了一个家庭6个月的用电数据，收集于2007年1月至2007年6月。这些数据包括全球有功功率、全球无功功率、电压、全球强度、分项计量1（厨房）、分项计量2（洗衣房）和分项计量3（电热水器和空调）等信息。该数据集共有260,640个测量值。 列名说明Date日期Time时间Globalactivepower该家庭所消耗的总有功功率（千瓦）Globalreactivepower该家庭消耗的总无功功率（千瓦）Voltage向家庭输送电力的电压（伏特）Global_intensity输送到家庭的平均电流强度（安培）Submetering1厨房消耗的有功功率（千瓦）Submetering2洗衣房所消耗的有功功率（千瓦）Submetering3电热水

By Ne0inhk