Ubuntu 24.04 使用 Docker Compose 本地部署 Whisper 语音识别服务

1. 高鲁棒性：得益于海量多样的训练数据，在嘈杂环境、口音等方面表现出色。
2. 多功能性：一个模型支持转录、翻译、时间戳等多种任务，覆盖近百种语言。
3. 开放与便捷：完全开源，支持本地部署以保护数据隐私，并提供从命令行到 API 的多种易用接口。

本地部署

• 运行效果：使用 small 模型以及使用精确的转录参数；整体识别还可以，但依旧有很多同韵母的字和同音字会识别错误；使用 medium 模型会出现一个奇怪的问题，转录文字为繁体字；large 模型运行时间较长（3060 显卡）。
• 优化：音频预处理、优化转录参数、阶段处理。
  • 结果也大差不差，最终生成的文本或多或少都有点问题，还是直接交给大模型根据语义做修正并分析吧。
• 转 FastAPI 服务
  • 增加 fastapi、uvicorn、python-multipart 依赖
  • 修改 Dockerfile 程序挂载
  • 修改 docker-compose.yml 端口映射

测试语句：

curl -X POST "http://localhost:7862/transcribe" -F "[email protected]"

更新配置：

# whisper_fastapi.py
from fastapi import FastAPI, File, UploadFile, HTTPException
from fastapi.responses import JSONResponse
import whisper
import tempfile
import os
import numpy as np
from scipy import signal
import librosa
import uvicorn
import soundfile as sf

# 初始化 FastAPI 应用
app = FastAPI(
    title="Whisper 音频转录 API",
    description="基于 OpenAI Whisper 的高级音频转录服务",
    version="1.0.0"
)

# 初始化全局变量
model = None

def load_whisper_model():
    global model
    if model is None:
        model = whisper.load_model("large")
    return model

def preprocess_audio(audio_path):
    """ 音频预处理：重采样、降噪、标准化 """
    try:
        # 加载音频
        y, sr = librosa.load(audio_path, sr=16000)
        # 重采样到 16kHz
        # 应用高通滤波器去除低频噪声
        b, a = signal.butter(4, 100, 'highpass', fs=sr)
        y = signal.filtfilt(b, a, y)
        # 音频标准化
        y = y / np.max(np.abs(y))
        # 保存处理后的临时文件
        temp_path = tempfile.mktemp(suffix='.wav')
        sf.write(temp_path, y, sr)
        return temp_path
    except Exception as e:
        print(f"音频预处理失败：{str(e)}")
        return audio_path  # 如果预处理失败，返回原始文件

@app.on_event("startup")
async def startup_event():
    """应用启动时加载模型"""
    print("正在加载 Whisper 模型...")
    load_whisper_model()
    print("Whisper 模型加载完成!")

@app.post("/transcribe", summary="音频转录", description="上传音频文件并返回转录文本")
async def transcribe_audio(file: UploadFile = File(...)):
    """ 转录音频文件为文本，使用优化参数
    - **file**：音频文件，支持 MP3、WAV、OGG、M4A、FLAC 等格式
    """
    # 更灵活的文件类型检查
    valid_extensions = {'.mp3', '.wav', '.ogg', '.m4a', '.flac', '.aac', '.m4b'}
    file_extension = os.path.splitext(file.filename)[1].lower()
    if file_extension not in valid_extensions:
        raise HTTPException(
            status_code=400,
            detail=f"不支持的文件类型：{file_extension}。请上传音频文件：{valid_extensions}"
        )
    temp_path = None
    processed_audio = None
    try:
        # 保存上传文件到临时位置
        with tempfile.NamedTemporaryFile(delete=False, suffix=file_extension) as temp_file:
            content = await file.read()
            temp_file.write(content)
            temp_path = temp_file.name
        
        # 音频预处理
        processed_audio = preprocess_audio(temp_path)
        
        # 加载模型
        model = load_whisper_model()
        
        # 使用优化的转录参数
        result = model.transcribe(
            processed_audio,
            language="zh",  # 指定中文语言
            task="transcribe",
            beam_size=5,  # 增加束搜索大小以提高准确性
            best_of=5,  # 生成多个候选结果选择最佳
            temperature=0.0,  # 使用确定性输出
            patience=1.0,  # 束搜索耐心参数
            suppress_tokens=[-1]  # 抑制不必要的 token
        )
        
        # 返回转录结果
        return JSONResponse(content={
            "status": "success",
            "text": result["text"],
            "language": result.get("language", "zh"),
            "file_name": file.filename
        })
    except Exception as e:
        raise HTTPException(status_code=500, detail=f"转录过程中出现错误：{str(e)}")
    finally:
        # 清理临时文件
        if temp_path and os.path.exists(temp_path):
            os.unlink(temp_path)
        if processed_audio and processed_audio != temp_path and os.path.exists(processed_audio):
            os.unlink(processed_audio)

@app.get("/health", summary="健康检查", description="检查服务是否正常运行")
async def health_check():
    """健康检查端点"""
    return JSONResponse(content={"status": "healthy", "model_loaded": model is not None})

@app.get("/", summary="根端点", description="API 基本信息")
async def root():
    """根端点，返回 API 基本信息"""
    return {
        "message": "Whisper 音频转录 API 服务",
        "version": "1.0.0",
        "endpoints": {
            "transcribe": "/transcribe (POST)",
            "health": "/health (GET)",
            "docs": "/docs (GET)",
            "redoc": "/redoc (GET)"
        },
        "model": "large",
        "supported_languages": "近百种语言，支持中文转录"
    }

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=7862)

FROM nvidia/cuda:12.4.1-cudnn-devel-ubuntu22.04

# 设置工作目录
WORKDIR /app

RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list && \
    sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list

# 安装系统依赖
RUN apt-get update && apt-get install -y \
    ffmpeg \
    python3 \
    python3-pip \
    python3-venv \
    && rm -rf /var/lib/apt/lists/* \
    && ln -sf /usr/bin/python3 /usr/bin/python

# 复制依赖文件
COPY requirements.txt .

# 安装 Python 依赖
RUN pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

# 复制应用代码（修改为 FastAPI 文件）
COPY whisper_fastapi.py .

# 暴露 FastAPI 端口
EXPOSE 7862

# 设置环境变量：模型缓存路径
ENV WHISPER_MODEL_CACHE=/root/.cache/whisper

# 启动应用（修改为 FastAPI 启动命令）
CMD ["uvicorn", "whisper_fastapi:app", "--host", "0.0.0.0", "--port", "7862"]

# docker-compose.yml
services:
  whisper-api:
    build: .
    container_name: whisper-fastapi
    ports:
      - "7862:7862"
    volumes:
      # 持久化缓存模型
      - ./model_cache:/root/.cache/whisper
      # 可选：挂载音频文件目录
      - ./audio_files:/app/audio_files
    environment:
      - WHISPER_MODEL=medium
    restart: unless-stopped
    # 可选：设置资源限制
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 2
              capabilities: [gpu]

Gradio 服务

# whisper_gradio.py
import gradio as gr
import whisper
import tempfile
import os
import numpy as np
from scipy import signal
import librosa

# 初始化全局变量
model = None

def load_whisper_model():
    global model
    if model is None:
        model = whisper.load_model("medium")
    return model

def preprocess_audio(audio_path):
    """ 音频预处理：重采样、降噪、标准化 """
    try:
        # 加载音频
        y, sr = librosa.load(audio_path, sr=16000)
        # 重采样到 16kHz
        # 应用高通滤波器去除低频噪声
        b, a = signal.butter(4, 100, 'highpass', fs=sr)
        y = signal.filtfilt(b, a, y)
        # 音频标准化
        y = y / np.max(np.abs(y))
        # 保存处理后的临时文件
        temp_path = tempfile.mktemp(suffix='.wav')
        librosa.output.write_wav(temp_path, y, sr)
        return temp_path
    except Exception as e:
        print(f"音频预处理失败：{str(e)}")
        return audio_path  # 如果预处理失败，返回原始文件

def transcribe_audio(audio_file):
    """ 转录音频文件为文本，使用优化参数 """
    # 加载模型
    model = load_whisper_model()
    
    # 安全检查上传的文件
    if audio_file is None:
        return "错误：请上传一个音频文件。"
    
    try:
        # 音频预处理
        processed_audio = preprocess_audio(audio_file)
        
        # 使用优化的转录参数
        result = model.transcribe(
            processed_audio,
            language="zh",  # 指定中文语言
            task="transcribe",
            beam_size=5,  # 增加束搜索大小以提高准确性
            best_of=5,  # 生成多个候选结果选择最佳
            temperature=0.0,  # 使用确定性输出
            patience=1.0,  # 束搜索耐心参数
            suppress_tokens=[-1]  # 抑制不必要的 token
        )
        
        # 清理临时文件
        if processed_audio != audio_file:
            try:
                os.unlink(processed_audio)
            except:
                pass
        return result["text"]
    except Exception as e:
        return f"转录过程中出现错误：{str(e)}"

# 创建 Gradio 界面
with gr.Blocks(title="Whisper 音频转录") as demo:
    gr.Markdown("# 🎤 Whisper 音频转录")
    gr.Markdown("上传 MP3、WAV、OGG 等音频文件，使用优化的参数将其转换为文本")
    
    with gr.Row():
        with gr.Column():
            audio_input = gr.Audio(
                sources=["upload"],
                type="filepath",
                label="上传音频文件",
                interactive=True
            )
            submit_btn = gr.Button("开始转录", variant="primary")
        
        with gr.Column():
            text_output = gr.Textbox(
                label="转录结果",
                placeholder="转录文本将显示在这里...",
                lines=10,
                max_lines=15
            )
    
    # 处理提交动作
    submit_btn.click(
        fn=transcribe_audio,
        inputs=audio_input,
        outputs=text_output
    )
    
    # 附加说明
    gr.Markdown("""
    ### 使用说明
    1. 点击'上传音频文件'或拖放文件到上传区域
    2. 支持格式：MP3, WAV, OGG, M4A, FLAC 等
    3. 点击'开始转录'按钮
    4. 等待转录结果出现在右侧文本框中
    **注意**：首次使用需要下载 Whisper Large 模型，请耐心等待。转录过程可能需要较长时间。
    """)

if __name__ == "__main__":
    demo.launch(server_name="0.0.0.0", server_port=7862, share=False)

Docker 配置

FROM nvidia/cuda:12.4.1-cudnn-devel-ubuntu22.04

# 设置工作目录
WORKDIR /app

RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list && \
    sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list

# 安装系统依赖
RUN apt-get update && apt-get install -y \
    ffmpeg \
    python3 \
    python3-pip \
    python3-venv \
    && rm -rf /var/lib/apt/lists/* \
    && ln -sf /usr/bin/python3 /usr/bin/python

# 复制依赖文件
COPY requirements.txt .

# 安装 Python 依赖
RUN pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

# 复制应用代码
COPY whisper_gradio.py .

# 暴露 Gradio 默认端口
EXPOSE 7862

# 设置环境变量：禁用 Gradio 分析，缓存模型
ENV GRADIO_ANALYTICS_ENABLED=False
ENV WHISPER_MODEL_CACHE=/root/.cache/whisper

# 启动应用
CMD ["python", "whisper_gradio.py"]

# docker-compose.yml
services:
  whisper-app:
    build: .
    ports:
      - "29999:7862"
    volumes:
      # 可选：持久化缓存模型，避免每次重启下载
      - ./cache:/root/.cache/whisper
    environment:
      - GRADIO_SERVER_NAME=0.0.0.0
      - GRADIO_SERVER_PORT=7862
    restart: unless-stopped

# requirements.txt
torch
openai-whisper
gradio
ffmpeg-python
pydub
scipy
librosa
numpy
soundfile
fastapi
uvicorn
python-multipart