在 Cadence 音频数字信号处理器上加速 TensorFlow Lite Micro
发布人：来自 Cadence 的 Raj Pawate 和 Google 的 Advait Jain
数字信号处理器 (DSPs) 是所有电池供电设备的重要组成部分，其提供了一种以极低功耗处理音频数据的方法。这些芯片负责运行信号处理算法，例如音频编解码器、噪声消除和波束形成等。
这些 DSPs 也越来越多地用于运行神经网络，例如唤醒词检测、语音识别和噪声抑制。启用此类应用的关键是，能够尽可能高效地执行这些神经网络。
不过，在 DSPs 上运行机器学习的产品化路径往往是临时路径。相比之下，语音、音频和视频编解码器运行国际电联 (ITU) 和 3GPP 等全球标准机构创建的压缩和解压缩算法，可解决质量测量、定点算法注意事项和互操作性等多方面的问题。
TensorFlow Lite Micro (TFLM) 是一个通用的开源推理框架，可在嵌入式目标（包括 DSPs）上运行机器学习模型。同样，Cadence 也在 PPA 优化的软硬件平台上投入巨大，例如用于音频的 Cadence Tensilica HiFi DSP 系列和用于视觉的 Cadence Tensilica Vision DSP 系列。
Cadence
https://www.cadence.com/en_US/home.html
基于此，TFLM 团队与 Cadence 的音频 DSP 团队在 2019 年就此展开合作。TFLM 团队专注于利用广泛的 TensorFlow 框架，并通过解释器和参考内核开发从训练到嵌入式和 DSP 部署的平滑路径。Cadence 开发一个高度优化的软件库，称为 NeuralNet 库 (NNLIB)，该库利用了其低功耗 HiFi DSPs 的 SIMD 和 VLIW 功能。起初，此合作仅包括一个 Xtensa DSP 的三个优化内核，而现已涵盖各种平台上的 50 多个内核，例如 HiFi 5、HiFi 4、HiFi 3z、Fusion F1 以及 P6 等 Vision DSPs，并包括卸载加速器（如有）的功能。
此外，我们还共同为所有针对 Cadence DSPs 进行过优化的代码添加了持续集成设置。其中包括的基础架构会对 TFLM 存储库的每个拉取请求进行测试，检测其是否通过 Tensilica 工具链的所有单元测试，该工具链具有各种 HiFix 和 Vision P6 内核。因此，我们会确保组合的 TFLM 和 NNLIB 开源软件不仅紧密集成，还具有良好的自动化测试覆盖率。
自动化测试覆盖率
https://github.com/tensorflow/tflite-micro/actions/workflows/xtensa.yml?query=event%3Aschedule
性能提升
最近，我们共同为使用 int16 激活函数量化的模型添加了优化设置。尤其是在音频领域，int16 激活函数对于量化生成式模型的质量至关重要。我们希望这些经过优化的内核能够支持一种新的 ML 驱动型的音频信号处理。下表所示为实现噪音抑制神经网络所需的几个算子。我们以噪音抑制神经网络 SEANet 为例，该网络中一个变体的循环计数提升了 267 倍。
使用 int16 激活函数量化
https://tensorflow.google.cn/lite/performance/post_training_integer_quant_16x8
SEANet
https://arxiv.org/abs/2008.02027
下表所示为经过优化的内核相比参考实现所取得的改进（使用 Xtensa 指令集模拟工具测量）。
算子 | 改进 |
Transpose Conv | 458 倍 |
Conv2D | 287 倍 |
Sub | 39 倍 |
Add | 24 倍 |
Leaky ReLU | 18 倍 |
Srided_Slice | 10 倍 |
Pad | 6 倍 |
整个网络 | 267 倍 |
如何使用这些优化设置
所有代码均可通过 TFLite Micro GitHub 库来使用。
TFLite Micro
https://github.com/tensorflow/tflite-micro
要使用 HiFi 3z 定向 TFLM 优化设置，需满足以下条件：
已使用 int16 激活函数和 int8 权重对 TensorFlow Lite (TFLite) FlatBuffer 模型进行量化
该模型使用上表中列出的一个或多个算子
TFLM 使用 OPTIMIZED_KERNEL_DIR=xtensa 进行编译
例如，您可以使用参考 C++ 代码运行 Conv2D 内核集成测试：
make -f tensorflow/lite/micro/tools/make/Makefile TARGET=xtensa TARGET_ARCH=hifi4 XTENSA_CORE= test_integration_tests_seanet_conv并通过添加 OPTIMIZED_KERNEL_DIR=xtensa，将其与经过优化的内核进行比较：
make -f tensorflow/lite/micro/tools/make/Makefile TARGET=xtensa TARGET_ARCH=hifi4 OPTIMIZED_KERNEL_DIR=xtensa XTENSA_CORE= test_integration_tests_seanet_conv展望未来
虽然迄今为止的工作主要集中在卷积神经网络上，但 Google 和 Cadence 也在合作开发经过优化的 LSTM 算子，并已发布基于 LSTM 的关键字识别器的首个示例。我们希望在此基础上进行扩展，并继续为 Tensilica Xtensa DSPs 带来经过优化的生产级的 ML 领域最新实践。
首个示例
https://github.com/tensorflow/tflite-micro/tree/1c6b50ef8b9dac1bb31dfe79679aec781666a86b/third_party/xtensa/examples/micro_speech_lstm
致谢
衷心感谢以下同事，感谢他们为此番成功合作做出的贡献。
Cadence：Manjunath CP、Bhanu Prakash Bandaru Venkata、Anirban Mandal
Google：Advait Jain、Deiqang Chen、Lawrence Chan、Marco Tagliasacchi、Nat Jeffries、Nick Kreeger、Pete Warden、Rocky Rhodes、Ting Yan、Yunpeng Li、Victor Ungureanu
