4nm 移动 SoC 三星高能效 NPU 架构解析

派遣单元负责将输入特征图分配至乘加阵列，由于 NPU 支持零值跳过和 Scatter-Gather 技术，派遣单元从取数据模块获取的数据量可能大于乘加阵列消耗的数据量。因此，派遣单元将向量合并为更密集的向量以最大化计算资源的利用率。

基于特征图稀疏的零值跳过技术

由于 ReLU 等激活函数会使隐层的输出特征图产生大量零值，且随着网络深度变深，零值所占的比例也逐步增大。

三星采用了下图所示的特征图零值跳过策略。

在上图中，特征图零跳过可使 NPU 在四个周期内完成卷积计算，减少了所需的总 MAC 计算量，在推理 InceptionV3 时，卷积层的 MAC 利用率可提高 36%。

需要注意的是，由于每个通道的稀疏度存在不平衡，零值跳过的搜索窗口会覆盖多个通道，但覆盖更多通道不可避免地会需要更复杂的多路复用逻辑。为了改善一点，三星确定了一个步幅系数，并采用基于优先级的搜索策略将输入特征图沿通道方向以一定步幅进行旋转移位实现多通道特征图零值搜索。

2. 乘加阵列

三星提到，乘加阵列消耗 NPU 80% 的功耗和 65% 的面积，NPU 张量引擎中的数据并行除了支持输入/输出通道方向的并行操作外，还需通过空间方向并行提高硬件资源的利用率（即在不同空间位置重用权重数据，并行地计算得到输出特征图）。三星提出的 NPU 乘加阵列由四组 XMAA 组成，每个 XMAA 由四组 MAAG 构成，每组 MAAG 包括 32 X 8 MACs。除特殊的 Scatter-Gather 场景外，派遣单元会将特征图分配至同一 XMAA 的所有 MAA。因此，在每个计算周期，XMAA 会接受一个 IFM 和 32 个权重向量，执行点积运算得到 32 维的部分和向量。

2.1 基于加法树的点积计算

相较于基于累加器的点积计算，加法树点积计算过程的触发器和累加器翻转频率更低，功耗可降低 20%~30%(三星提供的数据为 26%)。三星提到，由于非常规卷积（如空洞卷积）的应用日趋广泛，移动端 NPU 架构需要考虑到计算非常规卷积时的计算资源利用率。卷积作为满足交换律的线性运算可映射为 1×1 卷积，可采用沿空间方向顺序执行的策略将非常规卷积适配至所提 NPU。

针对空洞卷积零权重带来的传输带宽浪费问题，文中根据空洞卷积的膨胀率计算片上暂存器的取数据地址，按地址从片上暂存器加载输入特征图以消除冗余数据传输。

2.2 计算单元复用及融合点积

从推理侧的应用需求出发，端侧 NPU 的计算单元需支持多种计算精度（INT8/FP16/INT4…）。若为每种计算精度设计独立的数据通道，会浪费大量面积，并限制计算阵列的规模。因此，不只是三星，商用 NPU 都采用可复用的计算单元。

上图是三星采用的多精度计算单元 (MAU)，蓝色虚线框中的组件负责完成融合点积计算，累加器负责完成结果累加操作。上图右侧为统一乘法器的细节图，统一乘法器支持 INT4/INT8/FP16，统一乘法器的输入为 2Bytes 的输入特征图和 2Bytes 的权重数据。根据计算精度的不同，统一乘法器将输入数据映射到一组低位宽乘法器 (即 8X8、8X4、8X4 及 4X4)。

对于 INT4，无需对乘法结果进行移位调整。对于其他格式，则需在乘法结果（部分积）对齐后进行累加。

三星使用了一种被称为融合点积的计算方法（针对 FP16），即不对 16 组统一乘法器的中间结果进行舍入操作，只对点积计算结果进行舍入处理。

• 16 个统一乘法器输出的 FP16 乘积先通过硬件逻辑确定所有乘积的最大指数值（Emax），以该 Emax 为基准对所有乘积的尾数进行移位对齐，确保所有尾数的小数点位置完全统一；
• 在对齐后的尾数的最低有效位（LSB）侧进行位扩展，添加额外的尾随位（Trailing bits），通过扩展位宽保留了乘积的低位有效信息，抵消'消除中间舍入'带来的数值截断误差；
• 对齐并扩展后的 16 组尾数由于 16-to-1 加法树完成无舍入、无截断累加，整个累加过程无任何中间归一化、异常处理操作；仅在整个向量点积的最终结果输出时，执行一次舍入、归一化与异常判断。

相较于传统的浮点加法操作，融合点积处理 FP16 的精度损失不大，节省了 48% 的面积和 39% 的功耗。

3. 激活单元及数据聚合模块

在乘加计算完成后，部分和会被传送到激活单元，执行非线性激活运算，并根据输出特征图的数据格式执行量化操作。由于绝大多数的非线性激活函数（诸如 ReLU、Sigmoid、Tanh）都可采用分段线性函数近似，因此激活单元配置有保存缩放和偏置值的查找表。缓冲单元接收激活单元处理后的部分和或量化结果，并以双缓冲的方式传输至紧耦合存储器。值得注意的是，数据聚合模块还可将 OFM 通过 DMA 传递至另一 NPU 核心的紧耦合存储器。

场景优化及性能数据

1. 低延迟运行模式

低延迟模式专为人脸检测、目标检测、图像语义分割、图像分类等对端侧推理实时性有严苛要求的移动场景设计。

低延迟模式下，两颗独立的 NPU（8k MACs）协同执行同一神经网络推理任务。编译器通过层内空间划分，将输出特征图（OFM）切分为多个分区，每个 NPU 核负责一个分区的计算，结果直接存储在核内 1MB 的紧耦合内存（TCM）中；采用输出暂存策略，核内 TCM 中的 OFM 可作为下一层的输入特征图（IFM）复用，减少访存开销。

针对多核并行卷积固有的 halo（边缘重叠区域）数据交互需求，通过张量引擎（TE）中的 Gathering 单元实现硬件级数据同步，将本核新计算得到的边缘区域的特征图同步拷贝至另一颗 NPU 核的 TCM 中，全程无软件干预。

三星提供的实测数据表明，在 1196MHz 下，MobileNetEdgeTPU（INT8）推理吞吐达 3433inferences/s，DeepLabV3 语义分割网络 INT8/FP16 精度下分别达到 408 inferences/s、211 inferences/s。

2. 低功耗运行模式

• 仅给 NPU 核心和紧耦合存储器供电，关闭外部 DRAM，避免不必要的功耗损耗；
• 采用 4bits INT 量化的轻量模型，进一步降低计算和存储功耗；
• 调整电压/频率降低功耗，同时保证乘加阵列的高利用率，兼顾功耗和推理效率；

相较于标准运行模式，低功耗模式可降低 89% 的功耗，可有效提高端侧设备的续航能力。

不足之处

该研究分析了三星电子提出的面向 4nm 移动 SoC 的神经网络处理器，在多精度数据通路、硬件利用率提升等方面可为移动端 DNN 加速器设计提供参考，但受限于验证维度（也可能是三星不愿意公开），看完之后虽感悟颇多，不足之处总结如下：

1. 模型验证范围不全面。研究围绕 CNN 展开，虽明确支持 LSTM 类轻量循环神经网络，却未对如今主流的 Transformer、MLP 等非卷积模型开展分析/验证，仅从架构设计层面说明了通用性；
2. 张量压缩方法的适配性验证不全面。四叉树算法无法自适应空间块划分，压缩效果依赖图像类数据的特征（即：空间相关性强、同质区域面积），论文中性能验证均围绕 CNN 模型展开（MobileNetEdgeTPU、DeepLabV3、MobileDet），在非图像类数据中的适配性有待考究。
3. 性能评估体系未完善。验证模型集中于 MLPerf 基准中的卷积类模型，缺乏对移动端多模型并发、动态负载切换等实际应用场景的性能测试；AON 模式仅量化了相对功耗节省比例，未给出 LSTM 模型的推理吞吐量、端到端延迟等指标；对 INT4 等低精度量化的支持仅为硬件层面实现，未给出精度损失与性能收益的量化分析数据；
4. 针对硬件优化策略的设计空间探索有待加强。Scatter-Gather、特征图稀疏感知零跳过等技术仅给出既定设计的性能提升效果，但并未分析优化策略的参数边界，也未对不同卷积参数、模型稀疏度下的优化效果开展深入分析；
5. 未公开 SoC 系统级分析验证。研究仅聚焦于 NPU 设计，未提及该 NPU 与移动 SoC 中的 CPU、GPU、ISP 等模块的协同调度机制，也未分析部署中存在的内存带宽竞争、模块间数据传输延迟、推理延迟抖动等工程问题；此外，公开数据未体现编译器优化、算子映射等软硬件协同设计的优化效果。