Whisper 多语言识别数据标注与自定义数据集训练指南

每行一个 JSON 对象，字段包括 audio_filepath, text, duration, language。

{"audio_filepath": "/dataset/audio/zh_001.wav", "text": "今天天气很好", "duration": 3.2, "language": "zh"}
{"audio_filepath": "/dataset/audio/en_002.wav", "text": "Good morning everyone", "duration": 2.8, "language": "en"}

Python 生成脚本示例：

import json
import os
import librosa

transcripts = [
    ("zh_001.wav", "今天天气很好"),
    ("en_002.wav", "Good morning everyone"),
    ("es_003.wav", "Hoy hace mucho sol")
]

with open("transcripts.jsonl", "w", encoding="utf-8") as f:
    for wav_file, text in transcripts:
        filepath = os.path.join("/dataset/audio", wav_file)
        duration = librosa.get_duration(path=filepath)
        record = {
            "audio_filepath": filepath,
            "text": text.strip(),
            "duration": round(duration, 2),
            "language": wav_file.split("_")[0]
        }
        f.write(json.dumps(record, ensure_ascii=False) + "\n")

3. 数据清洗与质量控制

• 静音过滤：移除信噪比过低或长时间静音的音频。
• 文本校验：使用拼写检查库辅助发现错误。
• 发音一致性：对于同音异义词，结合上下文判断正确写法。
• 去重机制：避免重复样本导致过拟合。

模型微调实现流程

1. 环境依赖安装

pip install git+https://github.com/openai/whisper.git
pip install transformers datasets accelerate jiwer
# 可选：使用 NVIDIA Apex 进行混合精度训练
git clone https://github.com/NVIDIA/apex && cd apex && pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

2. 使用 Hugging Face Transformers 微调

虽然 Whisper 原生不支持直接训练，但可通过 Hugging Face 的 transformers 库封装实现高效微调。

from transformers import WhisperProcessor, WhisperForConditionalGeneration
from datasets import load_dataset, Audio
import torch

# 加载处理器和模型
processor = WhisperProcessor.from_pretrained("openai/whisper-large-v3", language="Chinese", task="transcribe")
model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-large-v3")

# 加载自定义数据集
def prepare_dataset(batch):
    audio = batch["audio"]
    batch["input_features"] = processor(audio["array"], sampling_rate=audio["sampling_rate"]).input_features[0]
    batch["labels"] = processor.tokenizer(batch["text"]).input_ids
    return batch

dataset = load_dataset("json", data_files="transcripts.jsonl", split="train")
dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
dataset = dataset.map(prepare_dataset, remove_columns=["audio"])

# 训练参数配置
from transformers import Seq2SeqTrainingArguments, Seq2SeqTrainer

training_args = Seq2SeqTrainingArguments(
    output_dir="./whisper-finetuned",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,
    learning_rate=1e-5,
    warmup_steps=500,
    max_steps=2000,
    gradient_checkpointing=True,
    fp16=True,
    evaluation_strategy="steps",
    predict_with_generate=True,
    logging_steps=100,
    save_steps=500,
    report_to=["tensorboard"],
    push_to_hub=False,
)

trainer = Seq2SeqTrainer(
    args=training_args,
    model=model,
    train_dataset=dataset,
    tokenizer=processor.feature_extractor,
)

# 开始训练
trainer.train()

3. 多语言训练策略优化

• 语言嵌入控制：在训练时显式设置 language 参数，引导模型学习语言特定特征。
• 平衡采样：若数据集中各语言分布不均，采用加权采样防止主导语言压制小语种。
• 渐进式训练：先在高资源语言上预热，再引入低资源语言进行联合训练。

模型评估与部署集成

1. 性能评估指标

使用 WER（Word Error Rate）作为主要评价标准：

from jiwer import wer
references = ["今天天气很好", "欢迎使用语音识别"]
hypotheses = ["今天天气真好", "欢迎使用语音识别"]
print("WER:", wer(references, hypotheses)) # 输出错误率

建议建立测试集，定期对比微调前后 WER 变化。

2. 部署至现有 Web 服务

将微调后的模型替换原项目中的 large-v3.pt 文件，或修改 app.py 中模型加载逻辑：

# 修改前
# model = whisper.load_model("large-v3", device="cuda")
# 修改后
model = whisper.load_model("./finetuned-model/pytorch_model.bin", device="cuda")

同时更新 processor 配置以匹配训练时的语言设定。

总结

1. 关键实践要点回顾

1. 数据质量决定上限：精准标注、格式统一、语言纯净是成功微调的前提。
2. 预处理不可忽视：音频标准化与元数据构建直接影响训练效率与稳定性。
3. 微调策略需灵活调整：根据语种数量、数据规模选择合适的 batch size、学习率和训练步数。
4. 评估闭环必不可少：建立独立测试集并持续监控 WER，验证模型改进效果。

2. 工程化建议

• 建立自动化标注流水线，结合 ASR 初稿 + 人工校对提升效率。
• 使用版本控制系统管理不同迭代的数据集与模型。
• 在生产环境中启用 A/B 测试，对比新旧模型在线表现。