Whisper 语音识别库启用 CUDA 加速配置指南

Whisper 语音识别库启用 CUDA 加速配置指南 | 极客日志

# 默认编译命令（Linux/Mac）
make 
# 或者 CMake
cmake ..
cmake --build . --config Release

whisper-server.exe ← 只支持 CPU
whisper.exe ← 只支持 CPU
main.exe ← 只支持 CPU

# Windows (CMake)
cmake .. -DWHISPER_CUBLAS=ON
cmake --build . --config Release

# Linux/Mac
make WHISPER_CUBLAS=1

whisper-server.exe ← 支持 GPU + CPU
whisper.exe ← 支持 GPU + CPU
main.exe ← 支持 GPU + CPU

whisper-server.exe -m models/ggml-small.bin --use-gpu

whisper_init_state: kv self size = 14.06 MB
whisper_init_state: kv cross size = 14.06 MB
whisper_init_state: compute buffer (conv) = 8.96 MB
whisper_init_state: compute buffer (encode) = 73.47 MB
whisper_init_state: compute buffer (cross) = 4.78 MB
whisper_init_state: compute buffer (decode) = 96.48 MB
ggml_cuda_init: found 1 CUDA devices: Device 0: NVIDIA GeForce RTX 4060, compute capability 8.9, VMM: yes
ggml_cuda_init: GGML_CUDA_FORCE_MMQ: no
ggml_cuda_init: CUDA_USE_TENSOR_CORES: yes
ggml_cuda_init: found 1 CUDA devices: Device 0: NVIDIA GeForce RTX 4060
whisper_model_load: CUDA0 total size = 487.01 MB

whisper_init_with_params_no_state: use gpu = 1
whisper_backend_init_gpu: no GPU found
whisper_model_load: CPU total size = 487.01 MB

whisper-server.exe 约 3-5 MB

whisper-server.exe 约 15-25 MB
cublas64_12.dll 约 100-150 MB ← CUDA 库文件
cublasLt64_12.dll 约 50-80 MB
cudart64_12.dll 约 0.5 MB

# 尝试启用 GPU
whisper-server.exe -m models/ggml-small.bin --use-gpu
# 如果支持，会用 GPU
# 如果不支持，会报错或自动回退到 CPU

文件名	说明	支持 CUDA？
`whisper-bin-x64.zip`	CPU 版本	❌ 不支持
`whisper-cublas-bin-x64.zip`	GPU 版本	✅ 支持 CUDA
`whisper-clblast-bin-x64.zip`	OpenCL 版本	⚠️ 支持 AMD/Intel GPU
`whisper-vulkan-bin-x64.zip`	Vulkan 版本	⚠️ 支持通用 GPU

whisper_backend_init_gpu: no GPU found

# 默认编译（没启用 CUDA）
cmake ..
cmake --build . --config Release

# 启用 CUDA 的编译
cmake .. -DWHISPER_CUBLAS=ON
cmake --build . --config Release

访问：https://github.com/ggerganov/whisper.cpp/releases 查看日志，应该看到：
```
ggml_cuda_init: found 1 CUDA devices: Device 0: NVIDIA GeForce RTX 4060
```

启动测试

whisper-server.exe -m models/ggml-small.bin --use-gpu

解压到你的目录

D:\U3DProject\whisper.cpp-cublas\
├── whisper-server.exe ← GPU 版本
├── cublas64_12.dll ← CUDA 库
├── cublasLt64_12.dll
├── cudart64_12.dll
└── models\

找到最新版本，下载 whisper-cublas-bin-x64.zip
```
示例：whisper-cublas-Win-x64-v1.5.5.zip
```

REM 1. 进入 whisper.cpp 目录
cd D:\U3DProject\whisper.cpp-master

REM 2. 创建 build 目录
mkdir build
cd build

REM 3. 配置 CMake（启用 CUDA）
cmake .. -DWHISPER_CUBLAS=ON -DCMAKE_BUILD_TYPE=Release

REM 如果提示找不到 CUDA，指定路径：
cmake .. -DWHISPER_CUBLAS=ON ^
         -DCMAKE_BUILD_TYPE=Release ^
         -DCUDA_TOOLKIT_ROOT_DIR="C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2"

REM 4. 编译（需要 10-20 分钟）
cmake --build . --config Release

REM 5. 生成的文件在：
REM build\bin\Release\whisper-server.exe

cd build\bin\Release

REM 检查文件大小
dir whisper-server.exe
REM 应该看到：
REM whisper-server.exe 约 15-25 MB（包含 CUDA 支持）

REM 测试运行
whisper-server.exe -m ..\..\..\models\ggml-small.bin --use-gpu
REM 应该看到：
REM ggml_cuda_init: found 1 CUDA devices:
REM Device 0: NVIDIA GeForce RTX 4060

版本	编译选项	识别时间	RTF	依赖
CPU 版本	默认编译	30 秒	6.0	无
CUDA 版本	`-DWHISPER_CUBLAS=ON`	0.4 秒	0.08	CUDA Toolkit
OpenCL 版本	`-DWHISPER_CLBLAST=ON`	2 秒	0.4	OpenCL
Vulkan 版本	`-DWHISPER_VULKAN=ON`	1.5 秒	0.3	Vulkan SDK

cd D:\U3DProject\whisper.cpp-master
whisper-server.exe -m models/ggml-small.bin --use-gpu -t 4 -p 8 --port 8080

REM 备份旧的
ren D:\U3DProject\whisper.cpp-master\whisper-server.exe whisper-server-cpu.exe

REM 复制新的
copy whisper-cublas\whisper-server.exe D:\U3DProject\whisper.cpp-master\
copy whisper-cublas\*.dll D:\U3DProject\whisper.cpp-master\

nvidia-smi
nvcc --version

REM 优化线程数（从 16 改为 4）
whisper-server.exe -m models/ggml-small.bin -t 4 -p 8 --port 8080 --no-gpu

REM 或者用更小的模型
whisper-server.exe -m models/ggml-tiny.bin -t 4 -p 8 --port 8080 --no-gpu

问题	答案
默认编译支持 CUDA？	❌ 不支持，需要 `-DWHISPER_CUBLAS=ON`
你的版本支持 CUDA？	❌ 不支持（日志显示 `no GPU found`）
如何获取 CUDA 版本？	下载 `whisper-cublas-bin-x64.zip`
CUDA 版本速度？	✅ 5 秒音频 → 0.4 秒（快 75 倍）
是否需要重新编译？	❌ 不需要，直接下载预编译版

Whisper 语音识别库启用 CUDA 加速配置指南

Whisper 默认编译是否支持 CUDA？

🎯 直接回答

📊 whisper.cpp 的编译选项对比

默认编译（纯 CPU）

启用 CUDA 编译（GPU 加速）

🔍 如何判断你的 whisper-server.exe 支持不支持 CUDA？

方法 1：查看启动日志（最准确）

✅ 如果支持 CUDA，会看到：

❌ 如果不支持 CUDA，会看到：

方法 2：查看文件大小（粗略判断）

方法 3：使用参数测试

📦 whisper.cpp 官方发布版本说明

GitHub Releases 页面

🛠️ 你当前的情况分析

你的 whisper-server.exe 来源

可能的原因

原因 1：下载了 CPU 版本

原因 2：自己编译时没启用 CUDA

🚀 如何获取支持 CUDA 的版本？

方法 1：下载预编译版本（推荐，最简单）

方法 2：自己编译（高级）

前提条件

编译步骤

验证编译结果

📊 不同版本性能对比

实测数据（5 秒音频）

🎯 最终建议

如果你想用 GPU 加速

推荐方案：下载预编译版本

如果你想继续用 CPU

优化当前配置

📝 总结

更多推荐文章

相关免费在线工具

Whisper 语音识别库启用 CUDA 加速配置指南

Whisper 默认编译是否支持 CUDA？

🎯 直接回答

📊 whisper.cpp 的编译选项对比

默认编译（纯 CPU）

启用 CUDA 编译（GPU 加速）

🔍 如何判断你的 whisper-server.exe 支持不支持 CUDA？

方法 1：查看启动日志（最准确）

✅ 如果支持 CUDA，会看到：

❌ 如果不支持 CUDA，会看到：

方法 2：查看文件大小（粗略判断）

方法 3：使用参数测试

📦 whisper.cpp 官方发布版本说明

GitHub Releases 页面

🛠️ 你当前的情况分析

你的 whisper-server.exe 来源

可能的原因

原因 1：下载了 CPU 版本

原因 2：自己编译时没启用 CUDA

🚀 如何获取支持 CUDA 的版本？

方法 1：下载预编译版本（推荐，最简单）

方法 2：自己编译（高级）

前提条件

编译步骤

验证编译结果

📊 不同版本性能对比

实测数据（5 秒音频）

🎯 最终建议

如果你想用 GPU 加速

推荐方案：下载预编译版本

如果你想继续用 CPU

优化当前配置

📝 总结

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具