Python开发从入门到精通：异步编程与协程

Ne0inhk

— 7 min read
Python开发从入门到精通：异步编程与协程

《Python开发从入门到精通》设计指南第二十一篇：异步编程与协程

在这里插入图片描述

一、学习目标与重点

💡 学习目标：掌握Python异步编程的基本概念和方法，包括协程、任务调度、事件循环等；学习asyncio、aiohttp等核心库的使用；通过实战案例开发异步应用程序。
⚠️ 学习重点：协程的定义与使用、任务调度、事件循环、asyncio库、aiohttp库、异步编程实战。

21.1 异步编程概述

21.1.1 什么是异步编程

异步编程是一种并发编程方式，通过非阻塞的操作提高程序的执行效率。在异步编程中，程序可以在等待I/O操作完成时继续执行其他任务，而不需要阻塞等待。

21.1.2 异步编程的优势

  • 提高执行效率：在等待I/O操作完成时，程序可以继续执行其他任务。
  • 降低资源消耗：减少了线程切换的开销。
  • 简化代码结构：通过协程和任务调度，代码结构更加简洁。

21.1.3 异步编程的应用场景

  • 网络通信：如HTTP请求、Web服务器、WebSocket通信等。
  • 文件操作：如大文件的读取和写入。
  • 数据库操作：如异步数据库查询。

21.2 协程的定义与使用

21.2.1 协程的定义

协程（Coroutine）是一种轻量级的线程，可以在程序中进行暂停和恢复。在Python中，协程可以通过async def关键字定义。

21.2.2 协程的使用

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 运行协程 asyncio.run(hello())

21.2.3 协程的暂停与恢复

import asyncio # 定义协程asyncdefcount():print('Counting...')await asyncio.sleep(1)print('Counted!')# 运行多个协程asyncdefmain():await asyncio.gather(count(), count(), count()) asyncio.run(main())

21.3 任务调度

21.3.1 创建任务

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 创建任务asyncdefmain(): task1 = asyncio.create_task(hello()) task2 = asyncio.create_task(hello())await task1 await task2 asyncio.run(main())

21.3.2 任务的取消

import asyncio # 定义协程asyncdefhello():try:print('Hello, World!')await asyncio.sleep(1)print('Hello again!')except asyncio.CancelledError:print('Task cancelled!')# 创建任务并取消asyncdefmain(): task = asyncio.create_task(hello())await asyncio.sleep(0.5) task.cancel()try:await task except asyncio.CancelledError:print('Main: Task cancelled!') asyncio.run(main())

21.3.3 任务的超时

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(2)print('Hello again!')# 任务超时asyncdefmain():try:await asyncio.wait_for(hello(), timeout=1)except asyncio.TimeoutError:print('Task timed out!') asyncio.run(main())

21.4 事件循环

21.4.1 事件循环的概述

事件循环是异步编程的核心组件，负责调度任务的执行。事件循环会不断地从任务队列中取出任务并执行，直到任务队列为空。

21.4.2 获取事件循环

import asyncio # 获取事件循环 loop = asyncio.get_event_loop()# 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 运行协程 loop.run_until_complete(hello())

21.4.3 事件循环的运行

import asyncio # 获取事件循环 loop = asyncio.get_event_loop()# 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 运行多个协程 loop.run_until_complete(asyncio.gather(hello(), hello(), hello()))

21.5 asyncio库

21.5.1 asyncio的基本用法

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 运行协程 asyncio.run(hello())

21.5.2 asyncio的常用函数

  • asyncio.run()：运行协程。
  • asyncio.create_task()：创建任务。
  • asyncio.gather()：收集多个协程的结果。
  • asyncio.wait_for()：等待协程完成，设置超时。
  • asyncio.sleep()：暂停协程。

21.5.3 asyncio的高级用法

import asyncio # 定义协程asyncdefhello():print('Hello, World!')await asyncio.sleep(1)print('Hello again!')# 使用Future对象asyncdefmain(): future = asyncio.Future() task = asyncio.create_task(hello()) task.add_done_callback(lambda t: future.set_result(t.result()))await future asyncio.run(main())

21.6 aiohttp库

21.6.1 安装aiohttp

pip install aiohttp

21.6.2 发送HTTP请求

import aiohttp import asyncio # 发送GET请求asyncdeffetch(session, url):asyncwith session.get(url)as response:returnawait response.text()asyncdefmain():asyncwith aiohttp.ClientSession()as session: html =await fetch(session,'https://www.example.com')print(html) asyncio.run(main())

21.6.3 发送POST请求

import aiohttp import asyncio import json # 发送POST请求asyncdefpost_data(session, url, data):asyncwith session.post(url, data=data)as response:returnawait response.text()asyncdefmain():asyncwith aiohttp.ClientSession()as session: data ={'name':'张三','age':25} response =await post_data(session,'https://httpbin.org/post', data)print(response) asyncio.run(main())

21.6.4 发送JSON请求

import aiohttp import asyncio import json # 发送JSON请求asyncdefpost_json(session, url, data):asyncwith session.post(url, json=data)as response:returnawait response.text()asyncdefmain():asyncwith aiohttp.ClientSession()as session: data ={'name':'张三','age':25} response =await post_json(session,'https://httpbin.org/post', data)print(response) asyncio.run(main())

21.7 实战案例：异步HTTP客户端

21.7.1 需求分析

开发一个异步HTTP客户端，支持以下功能：

  • 发送HTTP请求。
  • 并发发送多个HTTP请求。
  • 处理响应数据。

21.7.2 代码实现

import aiohttp import asyncio import time # 发送HTTP请求asyncdeffetch(session, url): start_time = time.time()asyncwith session.get(url)as response: text =await response.text() elapsed_time = time.time()- start_time return url,len(text), elapsed_time # 并发发送HTTP请求asyncdefmain(): urls =['https://www.example.com','https://www.google.com','https://www.github.com','https://www.python.org','https://www.djangoproject.com']asyncwith aiohttp.ClientSession()as session: tasks =[asyncio.create_task(fetch(session, url))for url in urls] results =await asyncio.gather(*tasks)for url, length, elapsed_time in results:print(f'URL: {url}, 响应长度: {length}, 耗时: {elapsed_time:.2f}秒')# 运行程序if __name__ =='__main__': start_time = time.time() asyncio.run(main()) elapsed_time = time.time()- start_time print(f'总耗时: {elapsed_time:.2f}秒')

21.7.3 实施过程

  1. 安装aiohttp库。
  2. 定义发送HTTP请求的协程函数。
  3. 定义并发发送HTTP请求的协程函数。
  4. 运行程序。

21.7.4 最终效果

通过异步HTTP客户端，我们可以实现以下功能：

  • 发送HTTP请求。
  • 并发发送多个HTTP请求。
  • 处理响应数据。

21.8 实战案例：异步Web服务器

21.8.1 需求分析

开发一个异步Web服务器，支持以下功能：

  • 处理HTTP请求。
  • 提供静态文件服务。
  • 实现简单的API接口。

21.8.2 代码实现

from aiohttp import web import asyncio # 处理根路径请求asyncdefhandle_root(request):return web.Response(text='Hello, World!')# 处理API接口请求asyncdefhandle_api(request): data ={'name':'张三','age':25}return web.json_response(data)# 提供静态文件服务asyncdefhandle_static(request):return web.FileResponse('static/index.html')# 创建Web应用asyncdefcreate_app(): app = web.Application()# 添加路由 app.add_routes([ web.get('/', handle_root), web.get('/api', handle_api), web.get('/static/{name}', handle_static)])return app # 运行Web服务器if __name__ =='__main__': asyncio.run(web.run_app(create_app(), host='localhost', port=8080))

21.8.3 实施过程

  1. 安装aiohttp库。
  2. 定义处理HTTP请求的协程函数。
  3. 创建Web应用。
  4. 添加路由。
  5. 运行Web服务器。

21.8.4 最终效果

通过异步Web服务器，我们可以实现以下功能：

  • 处理HTTP请求。
  • 提供静态文件服务。
  • 实现简单的API接口。

总结

✅ 本文详细介绍了Python异步编程的基本概念和方法，包括协程、任务调度、事件循环等；学习了asyncio、aiohttp等核心库的使用；通过实战案例开发了异步HTTP客户端和异步Web服务器。
✅ 建议读者在学习过程中多练习，通过编写代码加深对知识点的理解。

Read more

C++可变参数队列与压栈顺序：从模板语法到汇编调用约定的深度解析

C++可变参数队列与压栈顺序：从模板语法到汇编调用约定的深度解析

C++可变参数队列与压栈顺序：从模板语法到汇编调用约定的深度解析 本文聚焦一个具体而关键的技术主题：C++ 可变参数模板（Variadic Templates）。我们将从现代 C++ 的优雅写法出发，深入剖析其在 x86-64 架构下的真实行为，特别澄清一个长期被误解的核心问题——可变参数是否“从右向左压栈”？它们在寄存器和栈中究竟是如何排布的？ 如果你正在实现一个类型安全的消息队列、日志系统或任务调度器，并希望理解 enqueue(1, "hello", 3.14) 这行代码在 CPU 层面到底发生了什么，那么这篇文章就是为你量身打造的。 一、引言：可变参数 ≠ va_list —— 一场范式革命 很多初学者将 C++ 的可变参数模板与 C 语言的 va_list 混为一谈。这是重大误区，甚至会导致错误的性能假设和安全漏洞。 1.1

By Ne0inhk
C++从入门到实战（十一）详细讲解C/C++语言中内存分布与C与C++内存管理对比

C++从入门到实战（十一）详细讲解C/C++语言中内存分布与C与C++内存管理对比

C++从入门到实战（十一）详细讲解C/C++语言中内存分布与C与C++内存管理对比 * 前言 * 一、C/C++语言中内存分布 * 1.内核空间 * 2.栈 * 3.堆 * 4.数据段 * 5.代码段 * 二、例题带练巩固C/C++语言中内存分布的知识 * 题目讲解 * 题目答案 * 三、C语言动态内存分配（知识回顾） * 3.1 为什么需要动态内存分配 * 3.2 malloc 函数 * 3.3 calloc 函数 * 3.4 realloc 函数 * 3.5 free 函数

By Ne0inhk
【Linux】线程池（二）C++ 手写线程池全流程：从核心设计到线程安全、死锁深度解析

【Linux】线程池（二）C++ 手写线程池全流程：从核心设计到线程安全、死锁深度解析

文章目录 * 实现线程池 * ThreadPool类设计 * 构造函数 * Start接口 * 线程池接入日志 * 初步实现源码及效果图 * 总结代码执行逻辑 * 实现回调函数Routine * enqueue接口实现 * 线程池退出stop接口优化 * 线程池源码 * 线程安全和重入问题 * 结论 * 死锁 * 死锁四个必要条件 * 避免死锁 * STL、智能指针和线程安全 实现线程池 我们之前已经接触了进程池，其实线程池和进程池核心思路差不多，对于线程池来说，会有一个任务队列和若干线程，用户往任务队列里添加任务，若干线程在任务队列里拿任务并完成。 ThreadPool类设计 构造函数 对于线程来说，启动线程池分为两步： 1.先创建线程本身（Thread类对象）2.再启动线程（调用Thread的start接口） 所以在构造函数我们要先创建线程本身（thread t(回调函数，线程名)），创建线程需要传递回调函数（假设是hello）和线程名，但这里有一个问题，一般来说传递的

By Ne0inhk
C++：模板的幻觉 —— 实例化、重定义与隐藏依赖势中

C++：模板的幻觉 —— 实例化、重定义与隐藏依赖势中

一、表象之下：模板真的“生成代码”吗？ 很多人第一次学 C++ 模板时，会这样理解： “模板是一种代码生成机制，编译器在编译时会根据不同类型生成不同版本的函数或类。” 乍一看没错，比如： template<typename T> void print(T x) { std::cout << x << std::endl; } int main() { print(42); print("Hello"); } 似乎编译器确实“生成了两份函数”： print<int>(int) 与 print<const

By Ne0inhk