本地离线部署 Whisper 模型实现语音转写

Python 脚本调用

如果需要集成到项目中，可以使用 Python API。下面是一个封装好的示例，包含 FFmpeg 检查、繁简转换及错误处理逻辑。

import whisper
import os
import pathlib
import subprocess
from zhconv import convert

def check_ffmpeg():
    """检查 FFmpeg 是否安装并配置正确"""
    try:
        subprocess.run(
            ["ffmpeg", "-version"],
            check=True,
            stdout=subprocess.PIPE,
            stderr=subprocess.PIPE,
            text=True
        )
        return True
    except FileNotFoundError:
        print("错误：未找到 FFmpeg 工具，请先安装并配置环境变量")
        return False
    except Exception as e:
        print(f"FFmpeg 检查失败：{str(e)}")
        return False

def transcribe_audio(audio_path, model_name="large-v3", language="Chinese"):
    # 检查 FFmpeg
    if not check_ffmpeg():
        return None

    # 验证音频文件路径
    audio_path = str(pathlib.Path(audio_path).resolve())
    
    if not os.path.exists(audio_path):
        print(f"错误：音频文件不存在 '{audio_path}'")
        return None
    
    if not os.path.isfile(audio_path):
        print(f"错误：'{audio_path}' 不是有效的文件")
        return None

    # 加载模型并转写
    try:
        print(f"开始加载模型 {model_name}...")
        model = whisper.load_model(model_name, device="cpu")
        
        print(f"开始转写文件：{audio_path}")
        # 关键设置：明确指定中文，并关闭自动语言检测
        result = model.transcribe(
            audio=audio_path,
            language="Chinese",  # 强制指定中文
            verbose=True,
            fp16=False,
            initial_prompt="请用简体中文转写，不要使用繁体中文。"  # 提示模型使用简体
        )
        
        # 强制将结果转换为简体中文（双重保险）
        simplified_text = convert(result["text"], 'zh-cn')
        
        # 保存结果
        output_dir = "whisper_results"
        os.makedirs(output_dir, exist_ok=True)
        audio_name = os.path.splitext(os.path.basename(audio_path))[0]
        output_path = os.path.join(output_dir, f"{audio_name}_transcript.txt")
        
        with open(output_path, "w", encoding="utf-8") as f:
            f.write(simplified_text)
        
        print(f"\n✅ 转写完成（已转换为简体中文），结果保存至：{output_path}")
        return simplified_text
        
    except Exception as e:
        print(f"转写过程出错：{str(e)}")
        return None

if __name__ == "__main__":
    # 安装繁转简依赖（首次运行需要）
    try:
        import zhconv
    except ImportError:
        print("正在安装繁转简依赖...")
        subprocess.run(["pip", "install", "zhconv"], check=True)
        import zhconv

    # 替换为你的音频文件路径
    audio_file = r"D:\Net_Program\test\whisper-test.wav"
    transcribe_audio(audio_file)

这段代码做了几个优化：

1. FFmpeg 自检：避免运行时才报错，提前确认环境。
2. 繁简转换：引入 zhconv 库，确保输出统一为简体中文。
3. Initial Prompt：通过 initial_prompt 引导模型更准确地生成符合预期的文本。

常见问题解决

1. 内存不足 若提示 OutOfMemoryError，建议换用更小的模型（如 medium 或 small）。large-v3 建议至少配备 16GB 内存，并关闭其他占用程序。

2. 音频格式错误 部分非标准格式可能无法识别。可使用 FFmpeg 预处理：

   ffmpeg -i 输入文件.mp3 -ar 16000 -ac 1 输出文件.wav
   

   转为 16kHz 单声道 WAV 格式兼容性最好。

3. 模型下载慢 若自动下载超时，可手动从 Hugging Face 下载模型文件，放入 .cache/whisper/ 目录即可。

通过以上步骤，你可以在本地搭建一个稳定的 Whisper 转写环境。如果追求更高精度，优先使用 large-v3 模型；若注重速度或资源有限，可选择 small 或 base 模型。