OpenAI Whisper 生态工具与流式处理技术解析

以及：

from faster_whisper import WhisperModel, BatchedInferencePipeline 
model = WhisperModel("turbo", device="cuda", compute_type="float16") 
batched_model = BatchedInferencePipeline(model=model) 
segments, info = batched_model.transcribe("audio.mp3", batch_size=16)
for segment in segments:
    print("[%.2fs -> %.2fs] %s"%(segment.start, segment.end, segment.text))

WhisperX

论文，开源支持词级时间戳 (及分词) 的说话人分离的 ASR 工具。

后端基于：Faster-Whisper 和 CTranslate2。

只有命令行工具，没提供 API。

实战

安装：pip install whisperx 或基于 nv 安装：uvx whisperx

Whisper

开源 whisper.cpp 的 Windows 实现版，基于 C++/C 后端，C# 界面。

WhisperLiveKit

开源。

架构

安装：pip install whisperlivekit

Python SDK 集成：

import asyncio 
from contextlib import asynccontextmanager 
from fastapi import FastAPI, WebSocket, WebSocketDisconnect 
from fastapi.responses import HTMLResponse 
from whisperlivekit import AudioProcessor, TranscriptionEngine, parse_args 
transcription_engine = None

@asynccontextmanager
async def lifespan(app: FastAPI):
    global transcription_engine 
    transcription_engine = TranscriptionEngine(model="medium", diarization=True, lan="en")
    yield 

app = FastAPI(lifespan=lifespan)

async def handle_websocket_results(websocket: WebSocket, results_generator):
    async for response in results_generator:
        await websocket.send_json(response)
    await websocket.send_json({"type":"ready_to_stop"})

@app.websocket("/asr")
async def websocket_endpoint(websocket: WebSocket):
    global transcription_engine 
    # Create a new AudioProcessor for each connection, passing the shared engine 
    audio_processor = AudioProcessor(transcription_engine=transcription_engine) 
    results_generator = await audio_processor.create_tasks() 
    results_task = asyncio.create_task(handle_websocket_results(websocket, results_generator))
    await websocket.accept()
    while True:
        message = await websocket.receive_bytes()
        await audio_processor.process_audio(message)

Whisper-Diarization

开源

WhisperLive

开源

Faster-Whisper-GUI

开源。适用于 Faster-Whisper、WhisperX 的 GUI 程序。

参数：

• 转写参数
  • audio：输入文件的路径，或类似文件的对象，或音频波形；
  • language：音频语言，如 en。如果未设置，则在音频前 30 秒内检测语言；
  • task：要执行的任务，转录或翻译；
  • beam_size：用于解码的 beam 大小；
  • best_of：采样时使用非零温度的候选数；
  • patience：Beam 搜索耐心因子；
  • length_penalty：指数长度惩罚常数；
  • temperature：采样温度，可以是温度元组，如果根据 compression_ratio_threshold 或 log_prob_threshold 失败，则会依次使用；
  • compression_ratio_threshold：如果 gzip 压缩比高于此值，则视为失败；
  • log_prob_threshold：如果对采样标记的平均对数概率低于此值，则视为失败；
  • no_speech_threshold：如果无话音概率高于此值，并且对采样标记的平均对数概率低于 log_prob_threshold，则将该段视为静音；
  • condition_on_previous_text：如果为 True，则将模型的前一个输出作为下一个窗口的提示提供；禁用可能会导致文本在窗口之间不一致，但模型不太容易陷入失败循环，比如重复循环或时间戳失去同步；
  • initial_prompt：为第一个窗口提供的可选文本字符串或词元 id 可迭代项；
  • prefix：为第一个窗口提供的可选文本前缀；
  • suppress_blank：在采样开始时抑制空白输出；
  • suppress_tokens：要抑制的标记 ID 列表。-1 将抑制配置文件 config.json 中定义的默认符号集；
  • without_timestamps：仅对文本标记进行采样；
  • max_initial_timestamp：初始时间戳不能晚于此时间；
  • word_timestamps：使用交叉注意力模式和动态时间规整提取单词级时间戳，并在每个段的每个单词中包含时间戳；
  • prepend_punctuations：如果 word_timestamps 为 True，则将这些标点符号与下一个单词合并；
  • append_punctuations：如果 word_timestamps 为 True，则将这些标点符号与前一个单词合并；
  • vad_filter：启用语音活动检测 (VAD) 以过滤掉没有语音的音频部分，使用 Silero VAD 模型；
  • vad_parameters：Silero VAD 参数字典或 VadOptions 类；
  • max_new_tokens：每个区块生成的新令牌的最大数量。未设置，最大值将通过默认 max_size 设置；
  • chunk_length：音频段的长度。如果不是 None，将覆盖 FeatureExtractor 的默认 chunk_size；
  • clip_timestamps：逗号分隔的要处理的剪辑的时间戳列表（以秒为单位）开始，结束，开始，结束......。最后一个结束时间戳默认为文件的结束。如果使用 clip_timestamps，将忽略 VAD 设置；
  • hallucination_silence_threshold：当 word_timestamps 为 True 时，当检测到可能的幻觉时，跳过长于此阈值（以秒为单位）的静默期；
  • hotwords：为模型提供的热词/提示短语。如果 prefix 不是 None，则无效；
  • language_detection_threshold：如果语言标记的最大概率高于此值，则会检测为该语言；
  • language_detection_segments：语言检测需要考虑的分段数量。
• VAD 参数
  • threshold：语音阈值。Silero VAD 为每个音频块输出语音概率，概率高于此值的认为是语音。最好对每个数据集单独调整此参数，0.5 对大多数数据集来说都非常好；
  • min_speech_duration_ms：短于 min_speech_duration_ms 的最终语音块会被抛弃；
  • max_speech_duration_s：语音块的最大持续时间 (秒)。比 max_speech_duration_s 更长的块将在最后一个持续时间超过 100ms 的静音时间戳拆分 (如果有的话)，以防止过度切割。否则，它们将在 max_speech_duration_s 之前强制拆分；
  • min_silence_duration_ms：在每个语音块结束时等待 min_silence_duration_ms 再拆分它；
  • window_size_samples：window_size_samples 大小的音频块被馈送到 Silero VAD 模型。Silero VAD 模型使用 16000 采样率训练得到 512，1024、1536 样本，其他值可能会影响模型性能；
  • speech_pad_ms：最终的语音块每边都由 speech_pad_ms 填充。
• 模型参数
  • model_size_or_path：使用的模型大小 (tiny，tiny.en，base，base.en，small，small.en，medium，medium.en，large-v1 或 large-v2)，转换后的模型目录路径，或来自 HuggingFace 的 CTranslate2 转换的 Whisper 模型 ID。当配置了大小或模型 ID 时，转换后的模型将从 HuggingFace 下载。
  • device：转写设备 ("cpu"，"cuda"，"auto")。
  • device_index：要使用的设备 ID。也可以通过传递 ID 列表 (如 [0,1,2]) 在多 GPU 上加载模型。在这种情况下，当从多个 Python 线程调用 transcribe() 时，可以并行运行多个转录；
  • compute_type：计算类型。
  • cpu_threads：在 CPU 上运行时使用的线程数（默认为 4）。非零值会覆盖 OMP_NUM_THREADS 环境变量。
  • num_workers：当从多个 Python 线程调用 transcribe() 时，具有多个工作线程可以在运行模型时实现真正的并行性 (对 self.model.generate() 的并发调用将并行运行)。可以以增加内存使用为代价提高整体吞吐量。
  • download_root：模型应该保存的目录。如果未设置，模型将保存在标准 HuggingFace 缓存目录中。
  • local_files_only：如果为 True，避免下载文件，并在本地缓存的文件存在时返回其路径。

whisper-timestamped

开源

whisper-ctranslate2

开源基于 CTranslate2 兼容 OpenAI 的命令行客户端。

stable-ts

开源基于 Whisper 进行转录、强制对齐和音频索引。

echogarden

开源

CarelessWhisper

论文，GitHub。

该名称与 George Michael 的同名歌曲相同。

这些年，ASR 模型依托于 Transformer 架构发展特别快，主要分三类：只用编码器的、只用解码器的、编码器 - 解码器全用，Whisper 属于第三种。

问题：Whisper 编码器是非因果的，得输入全部语音才能输出表示，没法实时转录。试图实现流式 Whisper 的实践举例：

• Simul-Whisper：不微调，靠对齐头判断啥时候输出 Token，但每次都要把输入补到 30 秒，计算效率差；
• UfalWhisper：不微调，靠音频缓冲区和局部一致算法，但同样要补全输入，效率低；
• U2-Whisper：微调编码器加个 CTC 头，推理要走两趟（先 CTC 预测，再解码器排序），麻烦；
• WhisperFlow：让 Whisper 检测每个分块末尾的静音词，但要改架构。

流式 ASR 的几种方向：

• RNN-T：循环神经网络转换器，最经典的流式架构，用 LSTM 或双向 RNN，天生因果（只能看过去的语音），适合实时。比如有人用知识蒸馏把离线模型的知识传给 RNN-T，还有人优化它适配移动端，但 RNN 的并行性差，大模型效率不高。
• Transformer Transducer：把 RNN-T 里的循环组件换成 Transformer 编码器，兼顾并行和流式。比如混合编码器（一个因果掩码，一个没有），或基于分块注意力，但这些方法要么架构复杂，要么适配预训练模型麻烦。
• 直接用 Transformer 做流式：如 Emformer（增强版内存 Transformer）、SpeechLLM（把音频和文本嵌入喂给 LLM 解码器），还有微调自监督语音模型（S3M）改流式，但这些大多不是针对 Whisper 设计，适配起来要大改。
• 改 Whisper 做流式的前人方法：就是引言里提到的那几个，要么不微调但效率低（补全输入），要么要加额外参数、改架构（比如加 CTC 头），总之都有短板。

Whisper 的基本工作方式：

• 输入是 log-mel 谱，先过几层 CNN 压缩时间维度，得到序列 $X_T = (x_1, ..., x_T)$，其中 $T$ 是帧数；
• 编码器把 $X_T$ 转换成表示序列 $Z_T = (z_1, ..., z_T)$，其中 $z_t$ 是 $d$ 维向量；
• 解码器自回归预测：给定之前的 token ($\hat{y}$) 和 $Z_T$，输出下一个 token ($\hat{y}_i$) 的概率 $P(\hat{y}_i|\hat{y}, Z_T)$，贪心解码就是选概率最大 Token。

流式场景的关键区别是分块处理：不是等全部语音来，而是每次处理一个分块 chunk。比如第 $k$ 个分块是 $X_{((k-1)\tau+1)}^{k\tau}$，其中 $\tau$ 是分块大小，单位是帧数，对应几十毫秒的语音）。流式编码器处理这个分块，输出的表示是 $\hat{Z}_{((k-1)\tau+1)}^{k\tau}$，这个 $\hat{Z}$ 和离线编码器处理全序列得到的 $Z$ 的对应部分不一样。

核心目标：微调后的流式编码器 + 解码器，使词错误率（WER）尽可能接近离线 Whisper 的 WER，同时延迟低（分块小）、计算快。

核心创新集中在：流式编码器、流式解码器、推理机制、词级时间戳

流式编码器：加个因果掩码，让模型只看过去

普通 Whisper 编码器是非因果的，每个帧都能看到所有帧（包括未来的），这在流式里肯定不行。解决办法是给编码器的自注意力加一个因果掩码矩阵 M，让每个帧只能看自己和之前的帧。

• 元素是 0：不屏蔽，能看；
• 元素是 $-\infty$：屏蔽，看不到；

分初始分块 $\tau_0$ 和后续分块 $\tau$：初始分块（比如 600 毫秒）内所有帧可以互看（要先攒点语音保证准确性），后续分块（比如 300 毫秒）里，第 $i$ 帧只能看和它同属一个分块或更早分块的帧。

举个例子（图 1）：$\tau=15$ 帧（对应 300 毫秒，因为每帧 20 毫秒），$\tau_0=30$ 帧（600 毫秒），处理第 10 个分块时，帧 35 只能看帧 23（同属第 3 个分块），但看不到帧 50（第 4 个分块，未来的）。

证明关键定理：加掩码后，分块处理到第 $k$ 个分块得到的前 $k\tau$ 帧表示，和一次性处理全序列得到的前 $k\tau$ 帧表示完全一样。保证流式处理的准确性不会因为分块而下降，而且不用每次都重算所有历史帧，只算新分块就行，效率大大提高。

流式解码器：带缓存的注意力，处理动态输入

解码器要做两件事：一是记住之前的语音表示（缓存），二是自回归预测 Token。

关键是注意力机制的缓存策略：

• 交叉注意力（看编码器输出）：新分块的 K 和 V 算出来后缓存，下次用的时候直接和新的 Q 算，不用重算历史 K/V；
• 自注意力（看之前 Token）：没法直接缓存，因为新语音会改变解码器的上下文，导致 Token 的嵌入变化，之前的自注意力结果就不准。作者的分析：很多 Whisper 的交叉注意力头不是时间对齐的，新语音会让交叉注意力输出变，进而影响自注意力，所以自注意力缓存暂时不可行。

推理机制：判断稳定 Token，避免反复改结果

流式转录的痛点是分块可能切在词中间，比如 apple 的 ap 在这个分块，ple 在下个分块，直接输出 ap 肯定错。解决办法是定义稳定 Token，只输出稳定 Token，不稳定的就等下一个分块再确认。

贪心解码的稳定 Token 满足以下任一条件，Token 在第 $k$ 个分块可以被认为是稳定的：

• 在第 $k$ 个分块的概率≥第 $k-1$ 个分块的概率（概率上升，说明更确定）；
• 还是第 $k$ 个分块里概率最大的 Token（即使概率降了，但还是最可能的）。

解码时，如果发现最后 $n$ 个 Token 里有不稳定的，就回到第一个不稳定的位置重新算，把后面 Token 删掉。可以证明这个贪心解码是局部最优，比普通贪心解码的概率路径更高。

BeamSearch 解码的稳定 Token BeamSearch 会同时保留 top-b 个候选序列（$b$ 是束大小），稳定 Token：这个 Token 在当前分块的 top-b 候选里。 停止准则：如果某个候选序列出现结束符（EOT），不马上输出，等下一个分块再确认——避免因为分块切在词中间导致提前结束，减少幻觉（比如重复词）。

词级时间戳：微调的意外收获

因为微调时使用弱对齐数据集（靠强制对齐把语音和文本对应起来），模型的 Token 和声学特征对齐得更好，顺带解决实时词级时间戳的问题。

具体方法：只要模型预测出一个新的非 EOT Token，就把当前分块的时间戳记给这个词；下一个词的开始时间，就是上一个词的结束时间。这个方法只在小分块（40 毫秒或 100 毫秒）下有效，大分块可能包含多个词，边界就不准确。

KV 缓存和因果掩码带来的复杂度降低：

• 编码器 KV 缓存：普通非因果编码器每次处理新分块，都要重算所有历史帧的自注意力，复杂度 $O(T^2d)$；加因果掩码后，历史帧的 K 和 V 可以缓存，新分块只算自己的 K/V，再和历史缓存结合，复杂度从二次降到线性 $O(Td)$；
• 复杂度定理：作者的方法处理全长为 T 的序列，计算量是 $O(T^2d + Td^2)$；之前方法（如 Simul-Whisper）因为要补全输入，计算量是 $O(T^3d/\tau + T^2d^2/\tau)$，分块越小 $\tau$ 越小，差距越大，比如 $\tau=40$ 毫秒时，比 Simul-Whisper 快好几个量级。
• 解码器效率：交叉注意力用缓存，不用重算历史；自注意力虽然不能缓存，但因为分块小，计算量也不大。

微调目标：

• 让编码器学会因果表示；
• 让解码器知道什么时候输出 Token。

具体步骤如下：

• LoRA 层插入：只在关键地方加 LoRA（不训整个模型，轻量）——编码器的自注意力层、解码器的自注意力层、解码器的交叉注意力层。LoRA 的秩（rank）根据模型大小调：base/small 模型用 32，large-v2 用 4（避免过拟合）。
• 数据集处理：用弱对齐数据集，先通过强制对齐把语音和文本对应起来（知道每个 Token 的开始/结束时间），然后采样一部分时间点来训（不用每个时间点都训，效率高）。比如每个分块大小 $\tau$ 对应一组时间点，采样其中的 f%（f 是采样率，比如 0.02~0.25）来计算交叉熵损失。
• 训练参数：优化器用 AdamW，学习率 1e-5，权重衰减 0.01，学习率调度用 ReduceLROnPlateau（效果不好就降半，耐心 2 个 epoch）。batch size 根据模型大小调：base 用 32，small 用 16，large-v2 用 4（显存限制）。

贡献

• 首次用 LoRA 微调把 Whisper 改成纯流式模型，不用加额外头（如 CTC），不用多阶段解码，轻量高效；
• 提出因果掩码和稳定 Token 推理机制，保证低延迟（分块≥40 毫秒），WER 接近离线 Whisper；
• 顺带解决词级时间戳问题，小分块下精度比 Canary 高；
• 复杂度分析和实验证明，效率比现有流式 Whisper 方法高 3~4 倍。

局限

• 每个分块大小要单独训一个模型，不能动态调整分块；
• 解码器自注意力还没法用 KV 缓存，大模型推理时还有优化空间；
• 多语言泛化性不如 Ufal-Whisper，因为微调数据不够。

未来方向

• 随机掩码，让一个模型支持多种分块大小；
• 优化解码器自注意力缓存，比如让交叉注意力头更时间对齐，减少动态嵌入的影响；
• 用更多多语言数据微调，提升多语言泛化性。