sherpa-onnx 离线语音部署框架：Whisper、Moonshine、SenseVoice 多模型支持

此外还支持 WebAssembly（浏览器端运行）、WearOS、openKylin、NVIDIA Jetson（Orin NX / Nano B01）、Raspberry Pi、RISC-V 开发板等。

支持 C++、C、Python、JavaScript、Java、C#、Kotlin、Swift、Go、Dart、Rust、Pascal，加上 WebAssembly 支持。

模型生态：集成了哪些模型

sherpa-onnx 定位为推理部署框架，不包含模型训练功能，而是把各方的模型转成 ONNX（Open Neural Network Exchange，开放神经网络交换格式）纳入统一框架。以下是部分已集成的模型：

语音识别（ASR）

流式模型（实时场景）：

非流式模型（离线/批量场景）：

语音合成（TTS）

新模型接入时，团队会同步更新绝大多数语言的绑定，这是 sherpa-onnx 工程量最大的地方，也是它的核心价值——开发者不需要自己做模型转换和跨平台适配。

硬件适配：从服务器到嵌入式

NPU 加速

sherpa-onnx 支持 4 种 NPU：

已验证的边缘设备

README 中列出的已测试设备包括：

NVIDIA Jetson：Orin NX（CPU + GPU）、Nano B01（CPU + GPU） Raspberry Pi RISC-V 开发板：LicheePi4A、VisionFive 2 国产 AI 开发板：旭日 X3 派、爱芯派、RK3588 RV1126

浏览器端：WebAssembly

sherpa-onnx 提供完整的 WebAssembly 支持，可以在浏览器中直接运行语音识别、语音合成、说话人分离、VAD 等功能，无需后端服务器。项目在 HuggingFace 上提供了大量在线 demo，涵盖多种语言和模型组合。

上手方式

Python 安装

pip install sherpa-onnx 

预构建应用

sherpa-onnx 提供多种开箱即用的预构建应用，无需编译：

HuggingFace 在线体验

不需要安装任何东西，直接在浏览器中试用：

语音识别（多种模型可选） 语音合成（Piper、Matcha、ZipVoice） 说话人分离 音频标签 音源分离 VAD + ASR 组合（Whisper、Moonshine、SenseVoice、Paraformer 等）

大部分 demo 提供国内镜像地址。

预训练模型下载

项目通过 GitHub Releases 提供各类预训练模型的下载，按功能分类：ASR 模型、TTS 模型、VAD 模型、关键词检测模型、音频标签模型、说话人识别模型、标点模型、说话人分割模型、语音增强模型、音源分离模型。

总结

sherpa-onnx 的价值不在于某个模型的精度有多高，而在于解决了"模型到部署"之间的工程鸿沟。它把 Whisper、Moonshine、SenseVoice、FireRedASR 等模型统一到一个框架里，让开发者用同一套 API 就能部署到手机、嵌入式设备、浏览器或服务器上。

适合关注的场景

需要在离线环境下运行语音 AI（无网络依赖） 需要将语音能力部署到移动端、嵌入式或浏览器 在多个项目中使用不同的语音模型，希望统一部署框架 需要 NPU 加速（瑞芯微、高通、华为昇腾、爱芯元智）

当前局限

定位为推理部署框架，不包含模型训练功能，依赖上游模型的更新和质量 部分新模型的集成存在滞后（需要等团队完成 ONNX 转换和全语言绑定） 文档以英文为主，部分中文文档覆盖不完整

项目信息

GitHub：https://github.com/k2-fsa/sherpa-onnx 文档：https://k2-fsa.github.io/sherpa/onnx/index.html 协议：Apache 2.0 最新版本：v1.12.29（2026-03-12） 社区：Discord