基于 Docker Compose 在 Ubuntu 本地部署 Whisper 语音识别服务

测试接口：

curl -X POST "http://localhost:7862/transcribe" -F "[email protected]"

2. Gradio 界面服务

如果需要快速验证或提供给非技术人员使用，Gradio 能提供一个开箱即用的 Web UI。

import gradio as gr
import whisper
import tempfile
import os
import numpy as np
from scipy import signal
import librosa

model = None

def load_whisper_model():
    global model
    if model is None:
        model = whisper.load_model("medium")
    return model

def preprocess_audio(audio_path):
    try:
        y, sr = librosa.load(audio_path, sr=16000)
        b, a = signal.butter(4, 100, 'highpass', fs=sr)
        y = signal.filtfilt(b, a, y)
        y = y / np.max(np.abs(y))
        temp_path = tempfile.mktemp(suffix='.wav')
        librosa.output.write_wav(temp_path, y, sr)
        return temp_path
    except Exception as e:
        print(f"音频预处理失败：{str(e)}")
        return audio_path

def transcribe_audio(audio_file):
    if audio_file is None:
        return "错误：请上传一个音频文件。"
    
    model = load_whisper_model()
    
    try:
        processed_audio = preprocess_audio(audio_file)
        result = model.transcribe(
            processed_audio,
            language="zh",
            task="transcribe",
            beam_size=5,
            best_of=5,
            temperature=0.0,
            patience=1.0,
            suppress_tokens=[-1]
        )
        
        if processed_audio != audio_file:
            try:
                os.unlink(processed_audio)
            except:
                pass
        return result["text"]
    except Exception as e:
        return f"转录过程中出现错误：{str(e)}"

with gr.Blocks(title="Whisper 音频转录") as demo:
    gr.Markdown("# 🎤 Whisper 音频转录")
    gr.Markdown("上传 MP3、WAV、OGG 等音频文件，使用优化的参数将其转换为文本")
    
    with gr.Row():
        with gr.Column():
            audio_input = gr.Audio(sources=["upload"], type="filepath", label="上传音频文件", interactive=True)
            submit_btn = gr.Button("开始转录", variant="primary")
        with gr.Column():
            text_output = gr.Textbox(label="转录结果", placeholder="转录文本将显示在这里...", lines=10, max_lines=15)
    
    submit_btn.click(fn=transcribe_audio, inputs=audio_input, outputs=text_output)
    
    gr.Markdown("""
    ### 使用说明
    1. 点击"上传音频文件"或拖放文件到上传区域
    2. 支持格式：MP3, WAV, OGG, M4A, FLAC 等
    3. 点击"开始转录"按钮
    4. 等待转录结果出现在右侧文本框中
    **注意**：首次使用需要下载 Whisper Large 模型，请耐心等待。
    """)

if __name__ == "__main__":
    demo.launch(server_name="0.0.0.0", server_port=7862, share=False)

3. Docker 容器化配置

为了简化环境依赖管理，推荐使用 Docker 进行部署。以下配置基于 NVIDIA CUDA 环境，支持 GPU 加速。

Dockerfile

FROM nvidia/cuda:12.4.1-cudnn-devel-ubuntu24.04

WORKDIR /app

RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list && \
    sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list

RUN apt-get update && apt-get install -y \
    ffmpeg \
    python3 \
    python3-pip \
    python3-venv \
    && rm -rf /var/lib/apt/lists/* \
    && ln -sf /usr/bin/python3 /usr/bin/python

COPY requirements.txt .

RUN pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

COPY whisper_fastapi.py .

EXPOSE 7862

ENV WHISPER_MODEL_CACHE=/root/.cache/whisper

CMD ["uvicorn", "whisper_fastapi:app", "--host", "0.0.0.0", "--port", "7862"]

docker-compose.yml

services:
  whisper-api:
    build: .
    container_name: whisper-fastapi
    ports:
      - "7862:7862"
    volumes:
      - ./model_cache:/root/.cache/whisper
    environment:
      - WHISPER_MODEL=medium
    restart: unless-stopped
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

部署体验与优化建议

实际运行中发现，small 模型配合精确的转录参数效果尚可，但同韵母字和同音字仍有误识；medium 模型在某些情况下会出现繁体字问题；large 模型虽然准确率高，但在消费级显卡（如 RTX 3060）上运行时间较长。

针对识别结果的微调，如果直接交给大模型根据语义做修正并分析，往往能获得更理想的最终文本。此外，音频预处理（重采样、降噪、标准化）对提升信噪比很有帮助，但过度处理有时也会损失细节，建议根据实际场景调整。

通过上述步骤，你可以快速搭建起一个稳定、高效的本地语音识别服务。