语音 AI 模型更新很快——Whisper、Moonshine、SenseVoice、FireRedASR、Paraformer，几乎每个月都有新模型发布。但对开发者来说，选好模型只是第一步，真正的工程挑战在后面：怎么把它跑在手机上？嵌入式设备上？浏览器里？怎么接入 NPU 加速？怎么在没有网络的环境下运行？
sherpa-onnx 是 next-gen Kaldi 团队开源的语音推理部署框架（GitHub 10.9k stars，Apache 2.0 协议），它的定位很明确：将多种语音模型统一转成 ONNX 格式，部署到各类平台上，支持离线运行。覆盖 12 项语音功能、12 种编程语言、从服务器到嵌入式的多平台支持，最新版 v1.12.29 于 3 月 12 日发布。
本文将介绍 sherpa-onnx 的功能覆盖、模型生态、硬件适配方案和上手方式。
一、功能矩阵：不只是语音识别
sherpa-onnx 覆盖 12 项语音功能，远不止 ASR：
| 功能 | 说明 |
|---|---|
| 语音识别（ASR） | 流式 + 非流式两种模式 |
| 语音合成（TTS） | 支持多种 TTS 引擎 |
| 说话人分离 | 多说话人场景 |
| 说话人识别 | 声纹匹配 |
| 说话人验证 | 一对一声纹确认 |
| 语种识别 | 自动检测语言 |
| 语音活动检测（VAD） | 基于 silero-vad（轻量级语音端点检测模型） |
| 关键词检测 | 唤醒词 / 热词触发 |
| 音频标签 | 环境音分类 |
| 标点恢复 | 为识别结果添加标点 |
| 语音增强 | 降噪（gtcrn、DPDFNet 等降噪模型） |
| 音源分离 | 人声/伴奏分离（spleeter、UVR 等分离模型） |
多平台覆盖
| 架构 | Android | iOS | Windows | macOS | Linux | HarmonyOS |
|---|---|---|---|---|---|---|
| x64 | ✔ | ✔ | ✔ | ✔ | ✔ | |
| x86 | ✔ | ✔ | ||||
| arm64 | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ |
| arm32 | ✔ | ✔ | ✔ | |||
| riscv64 | ✔ |
此外还支持 WebAssembly（浏览器端运行）、WearOS、openKylin、NVIDIA Jetson（Orin NX / Nano B01）、Raspberry Pi、RISC-V 开发板等。
12 种编程语言
C++、C、Python、JavaScript、Java、C#、Kotlin、Swift、Go、Dart、Rust、Pascal，加上 WebAssembly 支持。
二、模型生态：集成了哪些模型
sherpa-onnx 定位为推理部署框架，不包含模型训练功能，而是把各方的模型转成 ONNX（Open Neural Network Exchange，开放神经网络交换格式）纳入统一框架。以下是部分已集成的模型：
语音识别（ASR）
流式模型（实时场景）：
| 模型 | 支持语言 |
|---|---|
| Zipformer（多语言版本） | 中文、英文、韩文、法文等 |
| Paraformer（流式版） | 中英双语 / 中粤英三语 |
非流式模型（离线/批量场景）：
| 模型 | 支持语言 |
|---|---|
| Whisper（tiny 到 large） | 多语言 |
| Moonshine（tiny / base / v2） | 英文 |
| SenseVoice | 中文、英文、粤语、日文、韩文 + 多种中文方言 |
| FireRedASR v2（CTC / AED） | 中英文 + 20+ 种方言 |
| Paraformer（离线版） | 中英文 + 多种中文方言 |
| NVIDIA Parakeet | 英文 |
| TeleSpeech | 中文 + 多种方言 |
| Dolphin | 40 种亚洲语言 + 22 种中文方言 |
语音合成（TTS）
| 模型 | 说明 |
|---|---|
| Piper | 多语言轻量 TTS |
| Matcha | 中文、英文、中英混合 |
| Supertonic2 | v1.12.29 新增 |
| ZipVoice | 中英文语音克隆 |
| PocketTTS | 英文语音克隆 |
2026 年近期新增
| 版本 | 日期 | 新增模型/功能 |
|---|---|---|
| v1.12.29 | 3/12 | Supertonic2 TTS，多语言绑定同步更新 |
| v1.12.28 | 2/28 | Moonshine v2 ASR，多语言绑定同步更新 |
| v1.12.27 | 2/26 | FireRedASR CTC 模型，Rust VAD API |
| v1.12.26 | 2/24 | PocketTTS 语音嵌入缓存，Rust ASR API |
新模型接入时，团队会同步更新绝大多数语言的绑定，这是 sherpa-onnx 工程量最大的地方，也是它的核心价值——开发者不需要自己做模型转换和跨平台适配。
三、硬件适配：从服务器到嵌入式
NPU 加速
sherpa-onnx 支持 4 种 NPU：
| NPU | 厂商 | 典型设备 |
|---|---|---|
| RKNN | 瑞芯微 | RK3588 等开发板 |
| QNN | 高通 | 骁龙平台手机/IoT |
| Ascend NPU | 华为 | 昇腾 AI 处理器 |
| Axera NPU | 爱芯元智 | 边缘 AI 芯片 |
已验证的边缘设备
README 中列出的已测试设备包括：
- NVIDIA Jetson：Orin NX（CPU + GPU）、Nano B01（CPU + GPU）
- Raspberry Pi
- RISC-V 开发板：LicheePi4A、VisionFive 2
- 国产 AI 开发板：旭日 X3 派、爱芯派、RK3588
- RV1126
浏览器端：WebAssembly
sherpa-onnx 提供完整的 WebAssembly 支持，可以在浏览器中直接运行语音识别、语音合成、说话人分离、VAD 等功能，无需后端服务器。项目在 HuggingFace 上提供了大量在线 demo，涵盖多种语言和模型组合。
四、上手方式
Python 安装
pip install sherpa-onnx
预构建应用
sherpa-onnx 提供多种开箱即用的预构建应用，无需编译：
| 类型 | 覆盖功能 |
|---|---|
| Android APK | 流式/非流式 ASR、TTS、VAD、音频标签、说话人识别/分离、关键词检测、语种识别 |
| Flutter App | 流式 ASR、TTS（Android/Linux/macOS/Windows） |
| Lazarus App | 字幕生成 |
| WebAssembly Demo | ASR、TTS、VAD、说话人分离、语音克隆（浏览器直接运行） |
HuggingFace 在线体验
不需要安装任何东西，直接在浏览器中试用：
- 语音识别（多种模型可选）
- 语音合成（Piper、Matcha、ZipVoice）
- 说话人分离
- 音频标签
- 音源分离
- VAD + ASR 组合（Whisper、Moonshine、SenseVoice、Paraformer 等）
大部分 demo 提供国内镜像地址。
预训练模型下载
项目通过 GitHub Releases 提供各类预训练模型的下载，按功能分类：ASR 模型、TTS 模型、VAD 模型、关键词检测模型、音频标签模型、说话人识别模型、标点模型、说话人分割模型、语音增强模型、音源分离模型。
五、总结
sherpa-onnx 的价值不在于某个模型的精度有多高，而在于解决了'模型到部署'之间的工程鸿沟。它把 Whisper、Moonshine、SenseVoice、FireRedASR 等模型统一到一个框架里，让开发者用同一套 API 就能部署到手机、嵌入式设备、浏览器或服务器上。
适合关注的场景：
- 需要在离线环境下运行语音 AI（无网络依赖）
- 需要将语音能力部署到移动端、嵌入式或浏览器
- 在多个项目中使用不同的语音模型，希望统一部署框架
- 需要 NPU 加速（瑞芯微、高通、华为昇腾、爱芯元智）
当前局限：
- 定位为推理部署框架，不包含模型训练功能，依赖上游模型的更新和质量
- 部分新模型的集成存在滞后（需要等团队完成 ONNX 转换和全语言绑定）
- 文档以英文为主，部分中文文档覆盖不完整
项目信息：
- GitHub：https://github.com/k2-fsa/sherpa-onnx
- 文档：https://k2-fsa.github.io/sherpa/onnx/index.html
- 协议：Apache 2.0
- 最新版本：v1.12.29（2026-03-12）
- 社区：Discord
