本文对比了 Python 单线程、多线程和多进程的区别与应用场景。介绍了进程与线程的基本概念，通过代码演示了 IO 密集型任务使用多线程提升效率的方法，并补充了 CPU 密集型任务应使用多进程的原因及实现方式。内容涵盖 threading 和 multiprocessing 模块的使用细节，帮助开发者根据任务类型选择合适的并发模型。
在使用爬虫爬取数据或者处理大量任务时，当需要处理的数据量比较大且急需快速获取结果时，可以考虑将单线程程序改写为多线程或多进程程序。本文将深入讲解 Python 中单线程、多线程和多进程的基础知识、区别及代码实现方法。
进程可以理解为正在运行的程序的实例。进程是拥有资源的独立单位，而线程不是独立的单位。由于每一次调度进程的开销比较大，为此才引入了线程。一个进程可以拥有多个线程，这些线程共享该进程的资源，线程的切换消耗是很小的。
在操作系统中引入进程的目的是更好地使多道程序并发执行，提高资源利用率和系统吞吐量；而引入线程的目的则是减小程序在并发执行时所付出的时空开销，提高操作系统的并发性能。
简单来说，如果将一个进程比喻成一个工作，指定 10 个人来做这份工作，这 10 个人就是 10 个线程。因此，在一定的范围内，多线程效率比单线程效率更高。
在 Python 中，默认情况下是单线程的，简单理解为：代码是按顺序依次运行的。例如先运行第一行代码，再运行第二行，依次类推。
举个例子，批量下载某网站的图片，由于下载图片是一个耗时的 IO 操作，如果依然采用单线程的方式下载，那么效率就会特别低，意味着需要消耗更多的时间等待网络响应。为了节约时间，这时候我们就可以考虑使用多线程的方式来下载图片。
threading模块是 Python 中专门用来做多线程编程的模块，它对 thread进行了封装，使用更加方便。
下面通过一个简单的例子来演示。假设需要对写代码和玩游戏两个事件进行模拟。
import threading
import time
# 定义第一个任务
def coding():
for x in range(3):
print('%s 正在写代码\n' % x)
time.sleep(1)
# 定义第二个任务
def playing():
for x in range(3):
print('%s 正在玩游戏\n' % x)
time.sleep(1)
# 如果使用多线程执行
def multi_thread():
start = time.time()
# Thread 创建第一个线程，target 参数为函数名
t1 = threading.Thread(target=coding)
t1.start() # 启动线程
# 创建第二个线程
t2 = threading.Thread(target=playing)
t2.start()
# join 是确保子线程执行完毕后才能继续执行主线程后续逻辑
t1.join()
t2.join()
end = time.time()
running_time = end - start
print('总共运行时间 : %.5f 秒' % running_time)
# 执行
if __name__ == '__main__':
multi_thread()
运行结果显示，多线程中写代码和玩游戏是一起执行的（交替打印），而单线程中则是先写代码再玩游戏。从时间上来说，多线程通常能节省总耗时，特别是当涉及 IO 等待时。
import time
# 定义第一个任务
def coding():
for x in range(3):
print('%s 正在写代码\n' % x)
time.sleep(1)
# 定义第二个任务
def playing():
for x in range(3):
print('%s 正在玩游戏\n' % x)
time.sleep(1)
def single_thread():
start = time.time()
coding()
playing()
end = time.time()
running_time = end - start
print('总共运行时间 : %.5f 秒' % running_time)
if __name__ == '__main__':
single_thread()
经过以上多线程和单线程的运行结果对比，可以看出当执行工作量很大的时候，多线程消耗的时间会更少。从这个案例中我们也可以知道，当所需要执行的任务并不多的时候，只需要编写单线程即可。
以某直播平台的图片爬取为例，展示如何将单线程爬虫修改为多线程爬虫。
import requests
from lxml import etree
import time
import os
dirpath = '图片/'
if not os.path.exists(dirpath):
os.mkdir(dirpath) # 创建文件夹
header = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
}
def get_photo():
url = 'https://www.huya.com/g/4079/' # 目标网站
response = requests.get(url=url, headers=header) # 发送请求
data = etree.HTML(response.text) # 转化为 html 格式
return data
def jiexi():
data = get_photo()
image_url = data.xpath('//a//img//@data-original')
image_name = data.xpath('//a//img[@class="pic"]//@alt')
for ur, name in zip(image_url, image_name):
url = ur.replace('?imageview/4/0/w/338/h/190/blur/1', '')
title = name + '.jpg'
response = requests.get(url=url, headers=header) # 在此发送新的请求
with open(dirpath + title, 'wb') as f:
f.write(response.content)
print("下载成功" + name)
time.sleep(2)
if __name__ == '__main__':
jiexi()
如果需要修改为多线程爬虫，只需要在主函数中创建多个线程即可。例如创建 4 个线程进行爬取。
import threading
import time
# 假设上面定义的 jiexi 函数已存在
if __name__ == "__main__":
threads = []
start = time.time()
# 创建四个线程
for i in range(1, 5):
# 注意：target 传函数名，不要加括号调用
thread = threading.Thread(target=jiexi)
threads.append(thread)
thread.start()
for thread in threads:
thread.join()
end = time.time()
running_time = end - start
print('总共消耗时间 : %.5f 秒' % running_time)
print("全部完成!")
虽然多线程可以提高 IO 密集型任务的效率，但在 Python 中，由于全局解释器锁（GIL）的存在，多线程无法充分利用多核 CPU 的性能。对于 CPU 密集型任务（如复杂的数学计算、图像处理等），多线程并不能加速，甚至可能因为上下文切换而变慢。此时需要使用多进程。
使用 multiprocessing 模块可以实现多进程。
import multiprocessing
import time
def worker(n):
result = 0
for i in range(1000000):
result += i
print(f"进程 {n} 计算完成")
return result
if __name__ == '__main__':
# 创建进程池，这里设置 4 个进程
pool = multiprocessing.Pool(processes=4)
start = time.time()
results = pool.map(worker, range(4))
end = time.time()
print(f"所有进程计算完成，总耗时：{end - start:.2f}秒")
pool.close()
pool.join()
| 特性 | 单线程 | 多线程 | 多进程 |
|---|---|---|---|
| 适用场景 | 简单任务，无并发需求 | IO 密集型任务（网络请求、文件读写） | CPU 密集型任务（计算、分析） |
| 资源占用 | 低 | 较低 | 较高 |
| 通信方式 | 直接变量访问 | 共享内存（需注意锁） | 队列、管道、共享内存 |
| Python GIL | 不适用 | 受限制，无法并行 CPU 计算 | 不受限制，可并行 CPU 计算 |
在实际开发中，应根据具体业务场景选择合适的并发模型。如果是网络爬虫等 IO 密集场景，优先使用多线程；如果是数据处理、图像渲染等 CPU 密集场景，建议使用多进程或异步 IO。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online
通过删除不必要的空白来缩小和压缩JSON。 在线工具，JSON 压缩在线工具，online