Distil-Whisper 快速入门：6 倍加速的语音识别方案

2. 长音频转录

Distil-Whisper 支持自动分段处理长音频文件：

from transformers import pipeline

pipe = pipeline(
    "automatic-speech-recognition",
    model=model_id,
    torch_dtype=torch.float16,
    device="cuda:0" if torch.cuda.is_available() else "cpu",
)

# 处理长音频（自动分段）
result = pipe(sample["array"], max_new_tokens=1024, return_timestamps=True)
print(result["text"])

3. 推测解码模式

结合 Whisper 教师模型实现更高速度：

from transformers import AutoModelForSpeechSeq2Seq

# 加载教师模型和辅助模型
teacher_model_id = "openai/whisper-large-v3"
assistant_model_id = "distil-whisper/distil-large-v3"
teacher_model = AutoModelForSpeechSeq2Seq.from_pretrained(
    teacher_model_id, torch_dtype=torch.float16, low_cpu_mem_usage=True
)
assistant_model = AutoModelForSpeechSeq2Seq.from_pretrained(
    assistant_model_id, torch_dtype=torch.float16, low_cpu_mem_usage=True
)

# 使用推测解码
inputs = processor(sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt").to("cuda")
outputs = teacher_model.generate(
    **inputs, assistant_model=assistant_model, do_sample=False,
)
transcription = processor.batch_decode(outputs, skip_special_tokens=True)[0]

高级优化技巧 💡

Flash Attention 加速

启用 Flash Attention 可进一步提升性能：

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch.float16, low_cpu_mem_usage=True, use_flash_attention_2=True # 启用 Flash Attention
)

模型训练与定制

如需训练自定义 Distil-Whisper 模型，可参考相关脚本，支持多语言蒸馏和领域适配。训练流程包括：

1. 数据准备与伪标签生成
2. 模型初始化
3. 蒸馏训练
4. 评估与优化

实际应用场景 🚀

Distil-Whisper 已广泛应用于：

• 实时语音转文字服务
• 视频字幕生成
• 会议记录系统
• 语音助手应用
• 电话客服转录分析

引用与致谢

如果使用 Distil-Whisper，请引用相关论文：

@article{distilwhisper,
  title={Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling},
  author={Gandhi, Sanchit and von Werra, Leandro and Xu, Peng-Jen and Ju, Da and Conneau, Alexis},
  journal={arXiv preprint arXiv:2311.00430},
  year={2023}
}

完整技术细节可参考 Distil-Whisper 论文 (arXiv:2311.00430)。

总结

Distil-Whisper 通过知识蒸馏技术，在保持高识别精度的同时，实现了显著的性能提升和模型压缩。无论是构建实时语音应用还是优化现有系统，它都能提供高效可靠的语音识别能力。