sherpa-onnx：将 Whisper、SenseVoice 等模型部署到手机的离线语音框架

此外还支持 C++、C、Python、JavaScript、Java、C#、Kotlin、Swift、Go、Dart、Rust、Pascal 等 12 种编程语言。

模型生态：统一 ONNX 标准

sherpa-onnx 定位为推理部署框架，不包含模型训练功能，而是把各方的模型转成 ONNX 纳入统一框架。以下是部分已集成的模型：

语音识别（ASR）

流式模型（实时场景）：

非流式模型（离线/批量场景）：

语音合成（TTS）

近期更新动态

新模型接入时，团队会同步更新绝大多数语言的绑定，这是 sherpa-onnx 工程量最大的地方，也是它的核心价值——开发者不需要自己做模型转换和跨平台适配。

硬件适配：从服务器到边缘

NPU 加速

sherpa-onnx 支持 4 种主流 NPU，方便在特定芯片上优化性能：

已验证的边缘设备

README 中列出的已测试设备包括 NVIDIA Jetson（Orin NX、Nano B01）、Raspberry Pi、RISC-V 开发板（LicheePi4A、VisionFive 2）、国产 AI 开发板（旭日 X3 派、爱芯派、RK3588）以及 RV1126 等。

浏览器端：WebAssembly

项目提供完整的 WebAssembly 支持，可以在浏览器中直接运行语音识别、语音合成、说话人分离等功能，无需后端服务器。HuggingFace 上提供了大量在线 demo，涵盖多种语言和模型组合，大部分 demo 也提供国内镜像地址。

快速上手

Python 安装

pip install sherpa-onnx 

预构建应用

如果你不想编译，可以直接使用开箱即用的预构建应用：

HuggingFace 在线体验

不需要安装任何东西，直接在浏览器中试用。支持的功能包括语音识别（多种模型可选）、语音合成（Piper、Matcha、ZipVoice）、说话人分离、音频标签、音源分离以及 VAD + ASR 组合（Whisper、Moonshine、SenseVoice、Paraformer 等）。

预训练模型下载

项目通过 GitHub Releases 提供各类预训练模型的下载，按功能分类：ASR 模型、TTS 模型、VAD 模型、关键词检测模型、音频标签模型、说话人识别模型、标点模型、说话人分割模型、语音增强模型、音源分离模型。

总结

sherpa-onnx 的价值不在于某个模型的精度有多高，而在于解决了'模型到部署'之间的工程鸿沟。它把 Whisper、Moonshine、SenseVoice、FireRedASR 等模型统一到一个框架里，让开发者用同一套 API 就能部署到手机、嵌入式设备、浏览器或服务器上。

适合关注的场景

• 需要在离线环境下运行语音 AI（无网络依赖）
• 需要将语音能力部署到移动端、嵌入式或浏览器
• 在多个项目中使用不同的语音模型，希望统一部署框架
• 需要 NPU 加速（瑞芯微、高通、华为昇腾、爱芯元智）

当前局限

• 定位为推理部署框架，不包含模型训练功能，依赖上游模型的更新和质量
• 部分新模型的集成存在滞后（需要等团队完成 ONNX 转换和全语言绑定）
• 文档以英文为主，部分中文文档覆盖不完整

项目信息

• GitHub: https://github.com/k2-fsa/sherpa-onnx
• 文档: https://k2-fsa.github.io/sherpa/onnx/index.html
• 协议: Apache 2.0
• 最新版本: v1.12.29（2026-03-12）