1. 模型种类
Whisper 支持多种模型规格，包括 tiny、base、small、medium、large 等。 Faster-Whisper 的模型种类与 Whisper 类似。
2. 模型安装
Whisper 和 Faster-Whisper 中的模型主要有两种获取方式。
-
通过 pip 安装库自动下载：
- 执行
pip install -U openai-whisper，下载结果为.pt文件。 - 执行
pip install faster-whisper，下载结果为.pt文件。
- 执行
-
从 HuggingFace 手动下载：
- 访问 HuggingFace 搜索 whisper，可下载 large-v3 和 large-v3-turbo 等文件，格式与上述不同。
3. 模型运行
使用 Whisper 库
参考官方文档，示例代码如下：
import whisper
model = whisper.load_model("turbo")
# load audio and pad/trim it to fit 30 seconds
audio = whisper.load_audio("audio.mp3")
audio = whisper.pad_or_trim(audio)
# make log-Mel spectrogram and move to the same device as the model
mel = whisper.log_mel_spectrogram(audio, n_mels=model.dims.n_mels).to(model.device)
# detect the spoken language
_, probs = model.detect_language(mel)
print(f"Detected language: {max(probs, key=probs.get)}")
# decode the audio
options = whisper.DecodingOptions()
result = whisper.decode(model, mel, options)
# print the recognized text
print(result.text)
注意：Whisper 模型建议对单句音频进行识别，若音频时间过短可能导致识别结果不准确。
使用 Faster-Whisper 库
示例代码如下：
from faster_whisper import WhisperModel
model_size = "large-v3"
# Run on GPU with FP16
model = WhisperModel(model_size, device="cuda", compute_type="float16")
# or run on GPU with INT8
# model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")
segments, info = model.transcribe(, beam_size=)
( % (info.language, info.language_probability))
segment segments:
( % (segment.start, segment.end, segment.text))
