Python 单线程、多线程与多进程详解及代码示例

运行结果显示，多线程中写代码和玩游戏是一起执行的（交替打印），而单线程中则是先写代码再玩游戏。从时间上来说，多线程通常能节省总耗时，特别是当涉及 IO 等待时。

2. 单线程执行案例

import time

# 定义第一个任务
def coding():
    for x in range(3):
        print('%s 正在写代码\n' % x)
        time.sleep(1)

# 定义第二个任务
def playing():
    for x in range(3):
        print('%s 正在玩游戏\n' % x)
        time.sleep(1)

def single_thread():
    start = time.time()
    coding()
    playing()
    end = time.time()
    running_time = end - start
    print('总共运行时间 : %.5f 秒' % running_time)

if __name__ == '__main__':
    single_thread()

经过以上多线程和单线程的运行结果对比，可以看出当执行工作量很大的时候，多线程消耗的时间会更少。从这个案例中我们也可以知道，当所需要执行的任务并不多的时候，只需要编写单线程即可。

三、单线程改为多线程爬虫实战

以某直播平台的图片爬取为例，展示如何将单线程爬虫修改为多线程爬虫。

1. 单线程爬虫代码

import requests
from lxml import etree
import time
import os

dirpath = '图片/'
if not os.path.exists(dirpath):
    os.mkdir(dirpath) # 创建文件夹

header = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
}

def get_photo():
    url = 'https://www.huya.com/g/4079/' # 目标网站
    response = requests.get(url=url, headers=header) # 发送请求
    data = etree.HTML(response.text) # 转化为 html 格式
    return data

def jiexi():
    data = get_photo()
    image_url = data.xpath('//a//img//@data-original')
    image_name = data.xpath('//a//img[@class="pic"]//@alt')
    for ur, name in zip(image_url, image_name):
        url = ur.replace('?imageview/4/0/w/338/h/190/blur/1', '')
        title = name + '.jpg'
        response = requests.get(url=url, headers=header) # 在此发送新的请求
        with open(dirpath + title, 'wb') as f:
            f.write(response.content)
        print("下载成功" + name)
        time.sleep(2)

if __name__ == '__main__':
    jiexi()

2. 多线程爬虫修改方案

如果需要修改为多线程爬虫，只需要在主函数中创建多个线程即可。例如创建 4 个线程进行爬取。

import threading
import time

# 假设上面定义的 jiexi 函数已存在

if __name__ == "__main__":
    threads = []
    start = time.time()
    # 创建四个线程
    for i in range(1, 5):
        # 注意：target 传函数名，不要加括号调用
        thread = threading.Thread(target=jiexi)
        threads.append(thread)
        thread.start()
    
    for thread in threads:
        thread.join()
    
    end = time.time()
    running_time = end - start
    print('总共消耗时间 : %.5f 秒' % running_time)
    print("全部完成!")

四、Python 多进程基础

虽然多线程可以提高 IO 密集型任务的效率，但在 Python 中，由于全局解释器锁（GIL）的存在，多线程无法充分利用多核 CPU 的性能。对于 CPU 密集型任务（如复杂的数学计算、图像处理等），多线程并不能加速，甚至可能因为上下文切换而变慢。此时需要使用多进程。

1. 为什么需要多进程

• GIL 限制：Python 的 GIL 保证同一时刻只有一个线程在 CPU 上执行字节码，这意味着多线程无法并行执行 CPU 密集型任务。
• 多核利用：多进程可以绕过 GIL，每个进程拥有独立的内存空间和解释器，能够真正利用多核 CPU 并行计算。

2. 多进程代码示例

使用 multiprocessing 模块可以实现多进程。

import multiprocessing
import time

def worker(n):
    result = 0
    for i in range(1000000):
        result += i
    print(f"进程 {n} 计算完成")
    return result

if __name__ == '__main__':
    # 创建进程池，这里设置 4 个进程
    pool = multiprocessing.Pool(processes=4)
    
    start = time.time()
    results = pool.map(worker, range(4))
    end = time.time()
    
    print(f"所有进程计算完成，总耗时：{end - start:.2f}秒")
    pool.close()
    pool.join()

五、总结与对比

在实际开发中，应根据具体业务场景选择合适的并发模型。如果是网络爬虫等 IO 密集场景，优先使用多线程；如果是数据处理、图像渲染等 CPU 密集场景，建议使用多进程或异步 IO。