Whisper 语音识别库启用 CUDA 加速配置指南

关键标志：

• ✅ ggml_cuda_init: found 1 CUDA devices
• ✅ whisper_model_load: CUDA0 total size

❌ 如果不支持 CUDA，会看到：

whisper_init_with_params_no_state: use gpu = 1
whisper_backend_init_gpu: no GPU found
whisper_model_load: CPU total size = 487.01 MB

关键标志：

• ❌ whisper_backend_init_gpu: no GPU found
• ❌ whisper_model_load: CPU total size

方法 2：查看文件大小（粗略判断）

CPU 版本：

whisper-server.exe 约 3-5 MB

GPU 版本（带 CUDA）：

whisper-server.exe 约 15-25 MB
cublas64_12.dll 约 100-150 MB ← CUDA 库文件
cublasLt64_12.dll 约 50-80 MB
cudart64_12.dll 约 0.5 MB

如果 whisper-server.exe 只有几 MB，且没有 cublas.dll 文件，肯定是 CPU 版本！

方法 3：使用参数测试

# 尝试启用 GPU
whisper-server.exe -m models/ggml-small.bin --use-gpu
# 如果支持，会用 GPU
# 如果不支持，会报错或自动回退到 CPU

📦 whisper.cpp 官方发布版本说明

GitHub Releases 页面

访问：https://github.com/ggerganov/whisper.cpp/releases

你会看到多个版本：

命名规则：

• 普通版 = CPU only
• cublas = CUDA (NVIDIA GPU)
• clblast = OpenCL (AMD/Intel GPU)
• vulkan = Vulkan (通用 GPU)

🛠️ 你当前的情况分析

你的 whisper-server.exe 来源

根据你之前的日志：

whisper_backend_init_gpu: no GPU found

结论：你用的是 CPU 版本！

可能的原因

原因 1：下载了 CPU 版本

你可能下载了 whisper-bin-x64.zip 而不是 whisper-cublas-bin-x64.zip

原因 2：自己编译时没启用 CUDA

如果是自己编译的，可能用的是：

# 默认编译（没启用 CUDA）
cmake ..
cmake --build . --config Release

而不是：

# 启用 CUDA 的编译
cmake .. -DWHISPER_CUBLAS=ON
cmake --build . --config Release

🚀 如何获取支持 CUDA 的版本？

方法 1：下载预编译版本（推荐，最简单）

步骤：

1. 访问：https://github.com/ggerganov/whisper.cpp/releases 查看日志，应该看到：

   ggml_cuda_init: found 1 CUDA devices: Device 0: NVIDIA GeForce RTX 4060
   

2. 启动测试

   whisper-server.exe -m models/ggml-small.bin --use-gpu
   

3. 解压到你的目录

   D:\U3DProject\whisper.cpp-cublas\
   ├── whisper-server.exe ← GPU 版本
   ├── cublas64_12.dll ← CUDA 库
   ├── cublasLt64_12.dll
   ├── cudart64_12.dll
   └── models\
   

4. 找到最新版本，下载 whisper-cublas-bin-x64.zip

   示例：whisper-cublas-Win-x64-v1.5.5.zip
   

方法 2：自己编译（高级）

前提条件

1. ✅ 安装 Visual Studio 2022（Community 版免费）
   • 下载：https://visualstudio.microsoft.com/zh-hans/downloads/
   • 安装时勾选："使用 C++ 的桌面开发"
2. ✅ 安装 CMake
   • 下载：https://cmake.org/download/
   • 安装后添加到 PATH
3. ✅ 安装 CUDA Toolkit
   • 下载：https://developer.nvidia.com/cuda-downloads
   • 推荐版本：CUDA 12.2 或 12.3

编译步骤

REM 1. 进入 whisper.cpp 目录
cd D:\U3DProject\whisper.cpp-master

REM 2. 创建 build 目录
mkdir build
cd build

REM 3. 配置 CMake（启用 CUDA）
cmake .. -DWHISPER_CUBLAS=ON -DCMAKE_BUILD_TYPE=Release

REM 如果提示找不到 CUDA，指定路径：
cmake .. -DWHISPER_CUBLAS=ON ^
         -DCMAKE_BUILD_TYPE=Release ^
         -DCUDA_TOOLKIT_ROOT_DIR="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2"

REM 4. 编译（需要 10-20 分钟）
cmake --build . --config Release

REM 5. 生成的文件在：
REM build\bin\Release\whisper-server.exe

验证编译结果

cd build\bin\Release

REM 检查文件大小
dir whisper-server.exe
REM 应该看到：
REM whisper-server.exe 约 15-25 MB（包含 CUDA 支持）

REM 测试运行
whisper-server.exe -m ..\..\..\models\ggml-small.bin --use-gpu
REM 应该看到：
REM ggml_cuda_init: found 1 CUDA devices:
REM Device 0: NVIDIA GeForce RTX 4060

📊 不同版本性能对比

实测数据（5 秒音频）

结论：CUDA 版本最快！

🎯 最终建议

如果你想用 GPU 加速

推荐方案：下载预编译版本

步骤：

1. 下载 CUDA 版本
   • 访问：https://github.com/ggerganov/whisper.cpp/releases
   • 下载：whisper-cublas-bin-x64.zip（最新版）
2. 查看日志
   • 应该看到：ggml_cuda_init: found 1 CUDA devices
   • 应该看到：whisper_model_load: CUDA0 total size
3. 用你的 C++ 客户端测试
   • 5 秒音频应该在 0.3-0.5 秒内返回结果
   • RTF ≈ 0.08（快 12 倍于实时）

测试

cd D:\U3DProject\whisper.cpp-master
whisper-server.exe -m models/ggml-small.bin --use-gpu -t 4 -p 8 --port 8080

解压并替换

REM 备份旧的
ren D:\U3DProject\whisper.cpp-master\whisper-server.exe whisper-server-cpu.exe

REM 复制新的
copy whisper-cublas\whisper-server.exe D:\U3DProject\whisper.cpp-master\
copy whisper-cublas\*.dll D:\U3DProject\whisper.cpp-master\

确保 CUDA 已安装

nvidia-smi
nvcc --version

如果你想继续用 CPU

优化当前配置

REM 优化线程数（从 16 改为 4）
whisper-server.exe -m models/ggml-small.bin -t 4 -p 8 --port 8080 --no-gpu

REM 或者用更小的模型
whisper-server.exe -m models/ggml-tiny.bin -t 4 -p 8 --port 8080 --no-gpu

预期提速：

• 线程优化：30 秒 → 12 秒
• 换 tiny 模型：30 秒 → 5 秒

📝 总结