Fish Speech 1.5 结合 Whisper 实现语音转文本再转语音闭环

创建一个名为 speech_loop.py 的文件。

import requests import whisper import soundfile as sf import io import json import logging from typing import Optional # 配置日志 logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) class SpeechTextSpeechLoop: def __init__(self, fish_speech_url: str, whisper_model_size: str = "base"): """ 初始化闭环处理器 :param fish_speech_url: Fish Speech 1.5 Web 服务的地址 :param whisper_model_size: Whisper 模型大小，可选 tiny, base, small, medium, large """ self.fish_speech_url = fish_speech_url.rstrip('/') logger.info(f"加载 Whisper 模型：{whisper_model_size}") self.whisper_model = whisper.load_model(whisper_model_size) logger.info("模型加载完毕。") def transcribe_audio(self, audio_path: str, language: Optional[str] = None) -> str: """ 使用 Whisper 将音频文件转写成文本 :param audio_path: 音频文件路径 :param language: 指定音频语言（如 'zh', 'en'），None 为自动检测 :return: 识别出的文本 """ logger.info(f"开始识别音频：{audio_path}") result = self.whisper_model.transcribe(audio_path, language=language, fp16=False) # fp16=False 确保兼容性 text = result["text"].strip() logger.info(f"识别结果：{text[:100]}...") # 打印前 100 字符 return text def process_text(self, text: str, operation: str = "none") -> str: """ （可选）对文本进行中间处理，如翻译、摘要等。 这里是一个示例框架，你可以接入真实的翻译 API 或 NLP 模型。 :param text: 原始文本 :param operation: 处理操作，如 'translate_to_en', 'summarize' :return: 处理后的文本 """ if operation == "none": return text elif operation == "translate_to_en": # 此处应接入翻译 API，如 Google Translate, DeepL 等 # 示例：return your_translation_function(text, target_lang='en') logger.warning("翻译功能需接入具体 API，当前返回原文本。") return text elif operation == "summarize": # 此处应接入文本摘要模型 logger.warning("摘要功能需接入具体模型，当前返回原文本。") return text else: logger.error(f"未知的处理操作：{operation}") return text def synthesize_speech(self, text: str, reference_audio_path: Optional[str] = None, ref_text: Optional[str] = None) -> Optional[bytes]: """ 调用 Fish Speech 1.5 服务合成语音 注意：此函数需要根据 Fish Speech 服务实际的 API 接口进行调整。 这里是一个基于其 Web 界面行为的模拟请求示例。 """ # 准备请求数据，参数需根据 Fish Speech API 文档调整 payload = { "text": text, "language": "zh", # 根据文本语言设置 "top_p": 0.7, "temperature": 0.7, "repetition_penalty": 1.2, } files = {} if reference_audio_path and ref_text: # 如果提供了参考音频和文本，则启用声音克隆 try: files['audio'] = open(reference_audio_path, 'rb') payload['ref_text'] = ref_text logger.info("启用声音克隆模式。") except FileNotFoundError: logger.error(f"参考音频文件未找到：{reference_audio_path}") try: # 假设 Fish Speech 的合成端点为 /api/synthesize # 实际端点请查看服务文档或通过浏览器开发者工具抓取 api_endpoint = f"{self.fish_speech_url}/api/synthesize" logger.info(f"向 {api_endpoint} 发送合成请求...") if files: response = requests.post(api_endpoint, data=payload, files=files) if 'audio' in files: files['audio'].close() else: response = requests.post(api_endpoint, json=payload) response.raise_for_status() # 检查 HTTP 错误 # 假设返回的是 WAV 音频二进制数据 if response.headers.get('Content-Type', '').startswith('audio/'): return response.content else: # 尝试解析为 JSON，可能包含音频数据或 URL result = response.json() logger.info(f"合成请求成功。响应：{result}") # 此处需要根据实际 API 返回结构处理，例如从 result['audio_url'] 下载 return None except requests.exceptions.RequestException as e: logger.error(f"调用 Fish Speech API 失败：{e}") return None def run_pipeline(self, input_audio_path: str, output_audio_path: str, text_operation: str = "none", reference_audio_for_clone: Optional[str] = None, ref_text_for_clone: Optional[str] = None): """ 执行完整的语音->文本->语音流水线 """ logger.info("=== 开始语音闭环处理流程 ===") # 步骤 1: 语音转文本 transcribed_text = self.transcribe_audio(input_audio_path) # 步骤 2: 文本处理（可选）processed_text = self.process_text(transcribed_text, text_operation) logger.info(f"处理后文本：{processed_text[:150]}...") # 步骤 3: 文本转语音 audio_data = self.synthesize_speech(processed_text, reference_audio_for_clone, ref_text_for_clone) if audio_data: # 保存音频文件 with open(output_audio_path, 'wb') as f: f.write(audio_data) logger.info(f"处理完成！输出音频已保存至：{output_audio_path}") return True else: logger.error("语音合成失败，流程终止。") return False if __name__ == "__main__": # ====== 配置区 ====== # 你的 Fish Speech 服务地址 FISH_SPEECH_URL = "http://localhost:7860" # 输入音频 INPUT_AUDIO = "meeting_recording.wav" # 输出音频 OUTPUT_AUDIO = "processed_output.wav" # 文本处理操作（可选）TEXT_OPERATION = "none" # "none", "translate_to_en", "summarize" # 声音克隆参考音频（可选）REF_AUDIO = "reference_speaker.wav" REF_TEXT = "这是参考音频对应的文字内容。" # 必须与参考音频内容一致 # ====== 执行 ====== processor = SpeechTextSpeechLoop(FISH_SPEECH_URL, whisper_model_size="base") # 运行完整流水线（如果不需声音克隆，将后两个参数设为 None）success = processor.run_pipeline( input_audio_path=INPUT_AUDIO, output_audio_path=OUTPUT_AUDIO, text_operation=TEXT_OPERATION, reference_audio_for_clone=REF_AUDIO, # 设为 None 则使用默认音色 ref_text_for_clone=REF_TEXT ) 

这个脚本提供了一个完整的框架。你需要根据实际情况修改：

1. FISH_SPEECH_URL：替换为你的 Fish Speech 实例地址。
2. Fish Speech API 调用部分：脚本中的 synthesize_speech 方法是示例，你需要根据 Fish Speech 服务真实的 API 接口文档调整请求参数和端点。查看 API 文档的最简单方法，通常是打开浏览器开发者工具（F12），在'网络'选项卡中观察 Web 界面点击'合成'时发送的请求。
3. 文本处理函数：process_text 函数目前是框架，你需要接入真实的翻译或摘要服务（如 Google Cloud Translation API, Hugging Face 的摘要模型等）来让它真正工作。

3. 实战应用场景与案例

有了上面的工具，我们可以玩出哪些花样？下面举几个实实在在的例子。

3.1 案例一：会议录音智能纪要与播报

场景：一小时的技术评审会录音，你需要整理文字纪要，并生成一个 5 分钟的语音摘要，用于给未参会的同事同步。

操作流程：

1. 识别：将 meeting_recording.mp3 丢给 Whisper，得到完整的逐字稿。
2. 处理：将逐字稿文本，通过一个文本摘要 API 或模型（例如，使用 transformers 库的 facebook/bart-large-cnn 模型），提炼出核心要点，形成一段 500 字左右的摘要文本。
3. 合成：将摘要文本输入 Fish Speech，选择一个清晰、专业的音色（或克隆技术负责人的音色），合成摘要语音 meeting_summary.wav。

价值：省去了人工听录音、敲字、再整理摘要的漫长过程，自动化生成可听可看的会议纪要。

3.2 案例二：跨语言视频内容配音

场景：你有一个中文产品介绍视频，需要制作英文版本。希望英文配音能尽量模仿原中文讲解者的声音特质。

操作流程：

1. 提取与识别：从原视频中提取音频轨道 original_chinese.wav。用 Whisper（指定语言zh）识别出中文文案。
2. 翻译：将中文文案通过翻译服务（如 DeepL API）准确翻译成英文。
3. 克隆与合成：从原视频中截取一段讲解者清晰的独白（5-10 秒）作为 reference.wav，并准备好对应的中文文本。将翻译好的英文文本、参考音频和参考中文文本，一同提交给 Fish Speech 进行声音克隆合成，得到 english_dub.wav。
4. 替换：用新的英文音频替换原视频音轨。

价值：极大简化了视频本地化的流程，特别是保持了配音音色的一致性，让海外观众有更原汁原味的体验。

3.3 案例三：无障碍内容创作

场景：为视障用户制作一本有声书，但只有 PDF 文本。

操作流程：

1. 文本准备：从 PDF 中提取纯文本，并进行分段（每段对应一个音频文件）。
2. 合成：将分段文本批量提交给 Fish Speech，使用一个舒适、耐听的音色进行合成。
3. （进阶）添加章节提示：在每章开头，可以先合成一个'Chapter X'的语音片段。甚至可以先用 Whisper 识别一段已有的、富有感染力的真人朗读片段作为参考，让 Fish Speech 克隆那种富有感情的讲述风格。

价值：快速将文字内容转化为高质量音频，比传统 TTS 更加自然，并可定制音色。

4. 进阶技巧与优化建议

当你跑通基础流程后，下面这些技巧能让你的闭环系统更强大、更稳定。

4.1 提升 Whisper 识别准确率

• 选择合适模型：tiny和base模型速度快，但small、medium和large模型准确率显著更高。对质量要求高的场景，建议使用medium或large。
• 指定语言：如果明确知道音频语言，在调用transcribe时指定language参数（如language='zh'），能提升识别精度和速度。

音频预处理：确保输入 Whisper 的音频质量。使用工具（如 FFmpeg）进行降噪、归一化音量、转换为单声道 16kHz WAV 格式，能有效改善识别效果。

ffmpeg -i input_noisy.mp3 -af "arnndn=mode=denoise, loudnorm" -ar 16000 -ac 1 output_clean.wav 

4.2 优化 Fish Speech 合成效果

• 参数调优：根据合成文本的类型调整参数。
  • 叙述性文本：可适当降低 temperature (如 0.5) 和 top_p (如 0.6)，让语音更稳定、清晰。
  • 对话或情感丰富文本：可稍微提高 temperature (如 0.8-0.9)，增加表现力。
  • 避免重复：如果发现合成语音有词语重复，可以增大 repetition_penalty (如 1.5)。
• 高质量声音克隆：
  • 参考音频是关键：务必使用清晰、无背景噪音、无混响、语速均匀的 5-10 秒单人语音。
  • 参考文本必须精确：上传的参考文本需要与参考音频内容一字不差，否则会导致克隆音色不准或合成失败。
  • 多尝试：不同的参考音频片段（如平静叙述、带笑意的语句）会克隆出不同的声音特质，可以多试几次找到最合适的。

4.3 构建自动化流水线

上面的脚本是单次运行的。对于生产环境，你可以将其封装成服务。

• 任务队列：对于大量音频处理需求，使用 Celery + Redis 等消息队列，实现异步任务处理，避免 HTTP 请求超时。
• 状态管理与回调：为每个处理任务生成唯一 ID，提供查询进度的接口，处理完成后通过 Webhook 回调通知调用方。

Web 服务化：使用 FastAPI 或 Flask 将核心函数包装成 HTTP API，接收音频文件，返回处理后的音频。

from fastapi import FastAPI, File, UploadFile from fastapi.responses import FileResponse app = FastAPI() processor = SpeechTextSpeechLoop(FISH_SPEECH_URL) @app.post("/process") async def process_audio(file: UploadFile = File(...)): # 保存上传文件 input_path = f"/tmp/{file.filename}" with open(input_path, "wb") as f: f.write(await file.read()) # 处理 output_path = input_path.replace(".wav", "_output.wav") success = processor.run_pipeline(input_path, output_path) if success: return FileResponse(output_path, media_type="audio/wav") else: return {"error": "Processing failed"} 

5. 总结

将 Fish Speech 1.5 与 Whisper 结合，构建'语音→文本→语音'的智能闭环，绝非简单的技术堆砌。它代表了一种工作流的革新，将原本需要多个工具、多个步骤才能完成的任务，整合成一个无缝的自动化流程。

我们从为什么需要闭环讲起，明确了其提升效率、创造可能的核心价值。然后从零开始，一步步指导你搭建环境、编写核心调度脚本，并提供了可直接运行或修改的代码框架。接着，通过会议纪要、视频配音、无障碍有声书三个具体案例，展示了这套组合拳在实际工作中的强大威力。最后，分享了一系列进阶技巧，从提升识别与合成质量，到将整个系统服务化、自动化，为你提供了从'能用'到'好用'再到'工业化用'的路径。

技术的魅力在于连接与创造。Fish Speech 赋予了机器'说话'的能力，Whisper 赋予了机器'聆听'的能力，而你的代码和想象力，则是让它们协同工作、解决真实问题的'大脑'。现在，舞台已经搭好，接下来，就看你想用这个'能听会说'的智能系统，去创造什么了。