whisper.cpp 模型部署与性能实测：从 tiny 到 large-v3-turbo

移动端部署方案

在 Android 平台，推荐使用 examples/whisper.android 项目模板，该方案已针对 ARM 架构优化。实测表明，在主流移动设备上，small.en模型可达到 1.2x 实时速度，而base模型能维持 3.5x 实时速度运行。

部署最佳实践

一键启动转录服务

whisper.cpp 提供了开箱即用的命令行工具，以 examples/cli/cli.cpp 为例，处理音频文件仅需：

# 基础转录（输出文本）
./examples/cli/whisper-cli -m models/ggml-medium.bin -f samples/jfk.wav

# 高级选项（输出 SRT 字幕 + 指定语言）
./examples/cli/whisper-cli -m models/ggml-large-v3.bin \
 -f meeting.wav -l zh -osrt -of meeting_subtitles

模型优化技巧

上下文控制：长音频处理时，通过 --max-context 限制上下文窗口可减少内存占用：

./examples/cli/whisper-cli --max-context 512 ...

线程调优：根据 CPU 核心数调整线程数，最佳实践是物理核心数的 1.5 倍，通过 -t 参数设置：

./examples/cli/whisper-cli -t 6 ... # 6 线程适用于 4 核 8 线程 CPU

量化处理：使用 examples/quantize/quantize.cpp 工具可将 large 模型压缩 40% 而精度损失<1%:

./examples/quantize/quantize models/ggml-large-v3.bin models/ggml-large-v3-q5_0.bin q5_0