Whisper 开源语音转文本模型原理与实战

不同尺寸模型在参数量、多语言支持、显存占用及推理速度上有所差异，用户可根据硬件条件选择 tiny, base, small, medium, large-v1, large-v2 等版本。

3.3 模型推理

推理过程非常简洁，只需调用 pipeline 对象即可。

def speech2text(speech_file):
    transcriber = pipeline(task="automatic-speech-recognition", model="openai/whisper-medium")
    text_dict = transcriber(speech_file)
    return text_dict

为了提升识别效果，建议在初始化时指定语言参数（例如 language="zh"），这能显著提高中文识别的准确率。

3.4 完整代码示例

以下是一个完整的命令行工具脚本，支持传入音频文件路径并输出 JSON 格式的识别结果。

import os
import argparse
import json
from transformers import pipeline

# 设置环境变量
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

def speech2text(speech_file, language="auto"):
    # 初始化管道
    transcriber = pipeline(
        task="automatic-speech-recognition",
        model="openai/whisper-medium",
        chunk_length_s=30,
        batch_size=16
    )
    # 执行推理
    result = transcriber(speech_file, return_timestamps=True)
    return result

def main():
    parser = argparse.ArgumentParser(description="Whisper 语音转文本工具")
    parser.add_argument("--audio", "-a", type=str, required=True, help="输入音频文件路径")
    parser.add_argument("--lang", "-l", type=str, default="auto", help="目标语言，默认自动检测")
    
    args = parser.parse_args()
    print(f"正在处理文件：{args.audio}")
    
    try:
        text_dict = speech2text(args.audio, args.lang)
        print("\n识别结果：")
        print(json.dumps(text_dict, indent=4, ensure_ascii=False))
    except Exception as e:
        print(f"处理失败：{str(e)}")

if __name__ == "__main__":
    main()

运行方式：

python run_whisper.py -a output_video_enhanced.mp3

3.5 模型部署

若需将服务部署为 API 接口，可将上述推理逻辑封装至 Flask 或 FastAPI 应用中。注意在生产环境中应预加载模型以避免每次请求时的加载延迟，并合理设置超时与并发限制。

四、总结

本文介绍了 OpenAI 开源的 Whisper 语音转文本大模型的基本原理及实战应用。通过 HuggingFace transformers 库的 Pipeline 功能，开发者仅需少量代码即可完成环境搭建、模型加载及推理任务。结合命令行参数解析与错误处理，该方案可直接集成至现有业务系统中，适用于需要低成本、高精度语音识别的场景。