千卡 GPU 利用率超 98%：JuiceFS 在 MLPerf 存储基准测试中的实践

下图是根据 OBS 监控数据和 MLPerf 的结果绘制出来的曲线图，可以看到 OBS 带宽在 98 卡及更大规模的训练中已经不再增加，成为性能瓶颈。

因此，在没有缓存的情况下，OBS 提供的 300Gb/s 带宽在 98 卡同时训练时就已经满载。根据 MLPerf 90% 的测试通过标准来看，可以满足最多 110 卡同时训练 Unet3D 模型。

在对大型数据集进行多机多卡训练时，单机缓存由于其空间限制仅能缓存数据集的一小部分；同时，由于训练过程中数据访问的随机性，缓存命中率较低。因此，这种情况下，单机缓存对于提升整体 I/O 性能的贡献有限（如上图绿线，能看到单机的内核缓存对读带宽有提升作用，虽然内核缓存空间多达 200GB，但效果有限），因此我们没有进行单机缓存的针对性测试。

开启分布式缓存

相比本地缓存，分布式缓存可以提供更大的缓存容量以支撑更大的训练集和更高的缓存命中率，从而提升整个 JuiceFS 集群的读带宽。

JuiceFS 的分布式缓存架构如下图所示，机器学习训练集群和 JuiceFS 的缓存集群可以是两批独立的机器组成的集群，它们通过高速网络连接。这两个集群都挂载了 JuiceFS 客户端。训练任务通过 JuiceFS 在本地的挂载点访问数据。当本地挂载点需要数据时，它会首先从缓存集群请求数据；如果缓存集群中缺失所需数据，系统则会从对象存储中获取数据并更新到缓存中。如果训练集群中的 GPU 节点自身也配置了充足的 SSD 存储，那么它们可以直接用作 JuiceFS 的缓存盘并组成缓存集群，无需部署独立的缓存集群。这种配置实际上是将训练集群和缓存集群的功能合并在一起。在本次测试中，我们采用了这种。

分布式缓存及其容量对 GPU 利用率的影响

之前的测试表明，未开启缓存时，110 卡时的 GPU 利用率不足 90%。为了直观展示分布式缓存对性能的影响，我们对 JuiceFS 进行了进一步的测试。我们选择 180 卡 GPU 规模的集群作为测试对象进行新一轮的测试，以评估 JuiceFS 的缓存命中率时跟 GPU 利用率关系。

下图中，横坐标表示缓存空间与数据集大小的比例，纵坐标表示缓存命中率和 GPU 使用率。当完全没有缓存时，GPU 的使用率只有 49%。随着缓存空间比例的增加，缓存命中率（蓝色线条）逐渐提高，进而带动 GPU 利用率（绿色线条）上升，当缓存命中率到 85% 时，GPU 利用率到了 93.1%，已经能够满足 180 卡的训练使用。当缓存命中率达到 100% 时，GPU 利用率达到最高的 98.8%，几乎满载运行。

为了验证 JuiceFS 的缓存系统的扩展能力，我们按照数据集的大小调整了缓存集群的容量，确保了缓存命中率达到 100%。这样，所有训练所需数据均可直接从缓存中读取，而不必从速度较慢的对象存储中读取。在这种配置下，我们测试了最多约 500 卡规模的训练任务，随着测试规模的增大，GPU 利用率的变化如下图所示。

从图中红色线条可以看到，开启分布式缓存的 JuiceFS 突破了带宽瓶颈的限制，GPU 利用率会随着集群规模变大仅缓慢线性下降。按照上图的变化趋势估计，在当期的网络配置 (25Gbps) 下，JuiceFS 可以支撑约 1500 卡训练 Unet3D 时保持 GPU 利用率在 90% 以上。

对比 Unet3D 的测试结果：JuiceFS/ANL/DDN/Weka

DDN、Weka 公布的数据中最大规模的模拟 GPU 总数低于 200。

ANL 在 512 卡的规模下依然没有明显衰减，GPU 利用率能够达到 99.5%。ANL 的读写带宽为 650 GBps，理论上最多能支撑 1500 卡训练 Unet3D，它的出色表现与充足的硬件配置密切相关。

JuiceFS 的 GPU 利用率随着集群规模变大，缓慢线性下降，在 500 卡规模时保持 97% 以上。JuiceFS 遇到的性能瓶颈主要来自于缓存节点的网络带宽。由于缓存节点的机型数量和网络带宽有限，本次测试达到的最大规模为 483 卡。在这种规模下，JuiceFS 集群的聚合带宽为 1.7 Tb，而 ANL 集群的带宽是 5.2 Tb。

04 JuiceFS 优化建议与最佳实践

基于上述测试结果，针对大规模 AI 训练场景，以下是 JuiceFS 的优化建议：

1. 缓存策略调优：对于 Unet3D 等高带宽需求的模型，务必开启分布式缓存。建议缓存容量至少覆盖数据集的 80%-100%，以确保高命中率。可以通过 cache-size 参数灵活调整。
2. 网络拓扑优化：缓存节点与对象存储之间的网络带宽是决定性能的关键。建议使用万兆或更高速度的网络互联。若使用云环境，确保缓存节点与对象存储处于同一可用区以减少延迟。
3. 元数据节点扩展：虽然本次测试元数据节点压力不大，但在超大规模集群中，建议增加元数据节点数量或使用高性能 SSD 作为元数据存储介质，避免元数据成为新的瓶颈。
4. 混合部署模式：利用训练节点自身的 NVMe SSD 作为缓存盘，可以减少额外硬件成本。需确保训练节点与缓存服务之间的通信效率，避免占用过多计算资源。

05 小结

• 在 BERT 测试中，JuiceFS 在 1000 GPU 规模的训练中能保持 98% 以上 GPU 利用率；
• 在 Unet3D 测试中，随着集群规模变大，JuiceFS 在接近 500 GPU 训练中保持 97% 以上 GPU 利用率。若云服务商可以提供更高的网络带宽或更多的机器，这一规模还可进一步提高；
• 分布式缓存的优势在于极强的扩展性，可以利用更多节点上的 SSD 存储聚合更大的缓存空间，提高整个存储系统的读带宽；当然它也会带来一些 CPU 开销，但在 AI 训练场景中，使用闲置的 CPU 资源提升系统带宽是值得，甚至必要的。
• 在云上进行机器学习训练时，高性能 GPU 机型通常都具有高性能的 SSD 和高带宽的网卡，这些设备还可以作为分布式缓存节点。因此，相比于专有的高性能存储产品，使用 JuiceFS，更具性价比，更易扩展。

大规模的 AI 训练场景中，通常都需要专有高性能存储，或是基于全闪架构和内核态的并行文件系统才能满足性能需求。但随着计算负载增加、集群增大，全闪的高昂成本和内核客户端的运维复杂度会成为用户面临的一大挑战。而 JuiceFS，作为一款全用户态的云原生分布式文件系统，借助分布式缓存来大幅提升系统的 IO 吞吐量，使用便宜的对象存储完成数据存储，更适合大规模 AI 业务的整体需要。