FunASR：阿里巴巴开源语音识别工具包及部署教程

此模式适合离线文件处理，通过设置 batch_size_s 可以优化吞吐量。

实时语音识别

使用 Paraformer 模型进行实时语音识别，支持流式输入：

from funasr import AutoModel

chunk_size = [0, 10, 5]  # 600ms
encoder_chunk_look_back = 4
decoder_chunk_look_back = 1

model = AutoModel(model="paraformer-zh-streaming")

import soundfile
import os

wav_file = os.path.join(model.model_path, "example/asr_example.wav")
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = chunk_size[1] * 960  # 600ms

cache = {}
total_chunk_num = int(len(speech) / chunk_stride + 1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size, encoder_chunk_look_back=encoder_chunk_look_back, decoder_chunk_look_back=decoder_chunk_look_back)
    print(res)

注意：代码中修复了原列表长度计算逻辑错误，确保分块正确。

语音端点检测（VAD）示例

使用 fsmn-vad 模型进行语音端点检测：

from funasr import AutoModel

model = AutoModel(model="fsmn-vad")

wav_file = f"{model.model_path}/example/vad_example.wav"
res = model.generate(input=wav_file)
print(res)

VAD 模型将返回音频中有效语音段的起始和结束时间，格式如下：

[[beg1, end1], [beg2, end2], ..., [begN, endN]]

其中 begN 和 endN 以毫秒为单位。这有助于裁剪音频数据，减少无效计算。

标点恢复示例

使用 ct-punc 模型进行标点恢复：

from funasr import AutoModel

model = AutoModel(model="ct-punc")

res = model.generate(input="那今天的会就到这里吧 happy new year 明年见")
print(res)

该模型会自动在转录文本中添加合适的标点符号，提升文本的可读性，特别适用于长句分割。

时间戳预测示例

使用 fa-zh 模型进行时间戳预测：

from funasr import AutoModel

model = AutoModel(model="fa-zh")

wav_file = f"{model.model_path}/example/asr_example.wav"
text_file = f"{model.model_path}/example/text.txt"
res = model.generate(input=(wav_file, text_file), data_type=("sound", "text"))
print(res)

该模型将为输入的音频和文本生成时间戳信息，实现音文对齐。

情感识别示例

使用 emotion2vec_plus_large 模型进行情感识别：

from funasr import AutoModel

model = AutoModel(model="emotion2vec_plus_large")

wav_file = f"{model.model_path}/example/test.wav"

res = model.generate(wav_file, output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(res)

该模型将返回音频中情感类别的预测结果，如'生气/angry'，'开心/happy'，'中立/neutral'，'难过/sad'。

部署建议与最佳实践

在实际生产环境中部署 FunASR 时，建议关注以下几点：

1. 硬件资源：GPU 能显著提升推理速度，尤其是对于高并发场景。CPU 部署则更适合低延迟要求不高的离线任务。
2. 模型选择：根据场景选择流式或非流式模型。实时交互推荐使用流式模型（streaming），录音文件处理推荐非流式模型以获得更高精度。
3. 缓存机制：在实时场景中，利用 cache 参数保存中间状态，避免重复计算，降低延迟。
4. 热词增强：针对特定领域（如医疗、法律），可通过 hotword 参数注入热词，提升专有名词识别率。
5. 错误处理：在生产代码中应增加异常捕获，防止因音频损坏或网络问题导致服务崩溃。

总结

FunASR 作为一个功能全面的语音识别工具包，极大地降低了语音 AI 技术的应用门槛。通过其提供的丰富预训练模型和简洁 API，开发者可以快速构建包含识别、检测、标点、情感分析等能力的完整语音处理流水线。