GPU 共享技术通过资源隔离与并行模式优化提升训练效率。核心方案包括 MPS 多进程服务实现上下文共享，MIG 硬件级多实例划分保障隔离性，以及 AntMan 框架层针对高低优任务混合场景的资源管理。这些技术有效降低显存占用，减少任务排队时间，适用于深度学习训练及高性能计算环境。
在人工智能和深度学习领域，GPU（图形处理器）已成为不可或缺的计算工具。随着深度学习模型的规模和复杂性的增加，单个 GPU 已经难以满足所有训练需求，GPU 共享技术应运而生，成为提高训练效率的重要手段。本文将深度剖析 GPU 共享技术，并对其进行总结。
GPU 共享技术是指在同一张 GPU 卡上同时运行多个任务。这种技术的核心优势在于提高资源利用率、减少任务排队时间、增强公平性，并降低总任务结束时间。GPU 共享的实现涉及多个层面，包括 GPU 架构、CUDA 编程、内存管理、机器学习框架、集群调度、通信协议等。
资源隔离是 GPU 共享技术的基础。它要求共享组件有能力限制任务占据算力（线程/SM）及显存的比例，甚至限制总线带宽。资源隔离的方法通常包括劫持调用和硬隔离两种。
并行模式决定了多个任务如何在 GPU 上运行。目前主要有两种模式：
深度学习训练需要大量显存，合理分配显存是优化 GPU 共享的关键。可以通过采用分层内存管理、共享内存池等技术来实现。
合理分配线程块可以避免任务之间的互相干扰，提高训练效率。动态线程调度和负载均衡是实现线程块分配优化的重要手段。
优化计算线程的管理可以实现更高效的并行计算。线程池、任务队列等技术可以有效管理计算线程，提高训练速度。
概述：
MPS 是 NVIDIA 推出的多进程服务，允许多个 CPU 进程共享同一 GPU context。它通过 CUDA API 实现，利用 GPU 上的 Hyper-Q 能力，允许多个进程并发执行 kernel 和 memcpy 操作，从而最大化 GPU 利用率。
特点：
nvidia-cuda-mps-control 工具设置默认活动线程百分比等。应用场景：
MPS 适用于需要同时运行多个 GPU 密集型任务的环境，如深度学习训练、高性能计算等场景。
概述：
MIG 是 NVIDIA 推出的多实例 GPU 技术，允许将单个物理 GPU 在硬件级别划分为多个独立的 GPU 实例。每个实例都拥有自己的专用计算资源、内存和带宽。
特点：
应用场景：
MIG 适用于需要高性能隔离和安全性保障的场景，如 AI 模型训练和推理服务器、多租户环境等。
概述：
AntMan 是来自阿里 PAI 的框架层 GPU 共享方案，它针对高低优任务训练场景设计，旨在保障高优 SLA 的同时提高资源利用率。
特点：
应用场景：
AntMan 适用于需要灵活管理资源、保障高优任务 SLA 的深度学习训练场景。
| 技术名称 | MPS | MIG | AntMan |
|---|---|---|---|
| 概述 | 多进程服务，允许多个 CPU 进程共享同一 GPU context | 多实例 GPU 技术，允许将单个物理 GPU 划分为多个独立的 GPU 实例 | 框架层 GPU 共享方案，针对特定场景设计 |
| 特点 | 上下文共享，性能提升，配置灵活 | 硬件级别隔离，高性能隔离，灵活配置 | 场景适应性，资源限制，框架集成 |
| 应用场景 | 深度学习训练、高性能计算等 | AI 模型训练和推理服务器、多租户环境等 | 深度学习训练场景，特别是高低优任务混合训练场景 |
GPU 共享技术作为提高深度学习训练效率的关键手段，正逐渐受到业界的重视。通过资源隔离、并行模式优化以及显存和线程管理等手段，GPU 共享技术能够在提高资源利用率、减少任务排队时间等方面发挥重要作用。未来，随着技术的不断发展和完善，GPU 共享技术将在更多领域展现其巨大的潜力。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online