Whisper.cpp 编译指南：如何启用 CUDA 实现 GPU 加速

如果看到 no GPU found，说明当前版本未正确链接 CUDA 库，或者环境变量配置有误。

方法二：检查文件大小

CPU 版本的可执行文件通常较小（3-5 MB）。而包含 CUDA 支持的版本，主程序通常在 15-25 MB 左右，且同目录下应存在 cublas64_12.dll 等文件。

方法三：命令行测试

直接指定使用 GPU 参数进行测试：

whisper-server.exe -m models/ggml-small.bin --use-gpu

若版本不支持，通常会报错或自动降级为 CPU 模式。

获取支持 CUDA 的版本

方案 A：下载预编译版本（推荐）

对于大多数用户，直接使用官方发布的预编译包是最稳妥的选择。

1. 访问 GitHub Releases 页面：https://github.com/ggerganov/whisper.cpp/releases
2. 查找文件名包含 cublas 的压缩包，例如 whisper-cublas-bin-x64.zip。
3. 解压后确保 cublas64_12.dll 等依赖文件与 .exe 在同一目录。

方案 B：自行编译

适合需要定制功能或特定 CUDA 版本的开发者。

前提条件：

• Visual Studio 2022（Community 版即可）
• CMake
• CUDA Toolkit（推荐 12.2 或 12.3）

编译步骤：

REM 进入项目目录
cd D:\U3DProject\whisper.cpp-master

REM 创建构建目录
mkdir build
cd build

REM 配置 CMake（关键步骤：开启 CUBLAS）
cmake .. -DWHISPER_CUBLAS=ON -DCMAKE_BUILD_TYPE=Release

REM 如果提示找不到 CUDA，可手动指定路径
cmake .. -DWHISPER_CUBLAS=ON ^
         -DCUDA_TOOLKIT_ROOT_DIR="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2"

REM 开始编译
cmake --build . --config Release

编译完成后，生成的可执行文件位于 build\bin\Release\ 目录下。

性能实测对比

在相同硬件环境下（RTX 4060），针对 5 秒音频片段的识别耗时对比如下：

可以看出，启用 CUDA 后，推理速度提升了数十倍，RTF（Real Time Factor）远低于 1，意味着处理速度远快于实时播放。

常见问题排查

如果你已经安装了 CUDA 但依然无法加速，请检查以下几点：

1. 版本匹配：确保下载的 whisper.cpp 版本与安装的 CUDA Toolkit 版本兼容。
2. 依赖文件：确认 cublas64_12.dll 等文件已放置在可执行文件同级目录，或已加入系统 PATH。
3. 驱动更新：运行 nvidia-smi 确认显卡驱动正常。
4. 参数传递：启动命令中必须包含 --use-gpu 参数，否则可能默认走 CPU 逻辑。

总结

• 默认编译不支持 CUDA，需显式开启 -DWHISPER_CUBLAS=ON。
• 验证方式优先看日志中的 ggml_cuda_init 信息。
• 推荐方案是直接下载 cublas 预编译包，避免编译环境配置的坑。
• 性能提升巨大，从 30 秒降至 0.4 秒是常态。

若你仍在使用 CPU 版本，建议尽快切换至 CUDA 版本以获得最佳体验。