Sambert-Hifigan 部署教程：WebUI 与 API 双模式

✅ 优点：环境纯净、无需手动安装依赖、跨平台一致性高

启动方式二：源码部署（高级用户）

# 克隆项目
git clone https://github.com/your-repo/sambert-hifigan-deploy.git
cd sambert-hifigan-deploy
# 创建虚拟环境
python -m venv venv
source venv/bin/activate # Linux/macOS
# venv\Scripts\activate # Windows
# 安装指定依赖
pip install -r requirements.txt
# 启动 Flask 服务
python app.py

服务默认监听 http://localhost:8080

WebUI 使用详解

访问界面

启动成功后，在浏览器中打开：

http://<your-server-ip>:8080

您将看到如下界面：图 1：WebUI 界面示意图

🔍 界面功能模块说明：

• 文本输入框：支持中文长文本输入（建议不超过 500 字）
• 情感选择下拉菜单：可选开心、悲伤、愤怒、平静等多种情感风格
• 语速调节滑块：控制合成语音速度（0.8x ~ 1.5x）
• 开始合成语音按钮：触发 TTS 流程
• 音频播放器：实时播放合成结果，并提供 .wav 下载功能

操作步骤演示

1. 在文本框中输入：今天天气真好，阳光明媚，适合出去散步。
2. 从下拉菜单选择情感：开心
3. 调整语速为 1.2x
4. 点击 开始合成语音
5. 等待约 3~8 秒（取决于文本长度和硬件性能），页面自动播放生成的语音
6. 点击下载按钮保存为本地 .wav 文件

💡 小技巧：支持换行符分段处理，每段独立应用情感参数，可用于制作对话式语音内容。

API 接口调用指南

除了图形化界面，本系统还暴露了标准的 HTTP RESTful API，便于集成到其他系统中。

API 端点信息

请求参数（JSON 格式）

{
 "text": "欢迎使用 Sambert-Hifigan 语音合成服务",
 "emotion": "happy",
 "speed": 1.1
}

响应格式

• 成功时返回 audio/wav 二进制流
• 失败时返回 JSON 错误信息，状态码 400

Python 调用示例

import requests
import json

# API 地址（根据实际部署修改 IP 和端口）
url = "http://localhost:8080/api/synthesize"

# 请求数据
payload = {
    "text": "这是通过 API 调用生成的语音示例。",
    "emotion": "calm",
    "speed": 1.0
}
headers = {"Content-Type": "application/json"}

try:
    response = requests.post(url, data=json.dumps(payload), headers=headers, timeout=30)
    if response.status_code == 200 and response.headers['content-type'] == 'audio/wav':
        # 保存音频文件
        with open("output.wav", "wb") as f:
            f.write(response.content)
        print("✅ 语音合成成功，已保存为 output.wav")
    else:
        print(f"❌ 请求失败：{response.json()}")
except Exception as e:
    print(f"⚠️ 调用异常：{str(e)}")

✅ 输出结果：当前目录生成 output.wav 文件，可用播放器打开验证。

JavaScript 调用示例（前端集成）

async function synthesizeSpeech() {
    const data = {
        text: "你好，这是 JavaScript 调用的语音合成。",
        emotion: "happy",
        speed: 1.1
    };
    try {
        const response = await fetch('http://localhost:8080/api/synthesize', {
            method: 'POST',
            headers: {
                'Content-Type': 'application/json'
            },
            body: JSON.stringify(data)
        });
        if (response.ok) {
            const blob = await response.blob();
            const audioUrl = URL.createObjectURL(blob);
            const audio = new Audio(audioUrl);
            audio.play(); // 直接播放
        } else {
            const error = await response.json();
            console.error('合成失败:', error);
        }
    } catch (err) {
        console.error('请求出错:', err);
    }
}
// 触发合成
synthesizeSpeech();

🌐 应用场景：可嵌入网页聊天机器人、在线教育平台、AI 助手等前端应用。

核心代码解析

以下是 Flask 后端的关键实现逻辑，位于 app.py 文件中。

from flask import Flask, request, jsonify, send_file, render_template
import torch
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
import numpy as np
import io
import logging

app = Flask(__name__)
logging.basicConfig(level=logging.INFO)

# 初始化 TTS 管道（延迟加载，首次请求时初始化）
tts_pipeline = None

def get_tts_pipeline():
    global tts_pipeline
    if tts_pipeline is None:
        try:
            tts_pipeline = pipeline(
                task=Tasks.text_to_speech,
                model='damo/speech_sambert-hifigan_nanshan_tts_chinese_multispeakers'
            )
            logging.info("✅ TTS 模型加载成功")
        except Exception as e:
            logging.error(f"❌ 模型加载失败：{e}")
            raise
    return tts_pipeline

@app.route('/')
def index():
    return render_template('index.html')

@app.route('/api/synthesize', methods=['POST'])
def api_synthesize():
    data = request.get_json()
    text = data.get('text')
    emotion = data.get('emotion', 'neutral')
    speed = float(data.get('speed', 1.0))

    if not text:
        return jsonify({"error": "缺少文本参数"}), 400

    try:
        # 调用 Sambert-Hifigan 模型
        result = get_tts_pipeline()(
            text=text,
            voice="female", # 固定女声（模型支持多说话人）
            emotion=emotion,
            speed=speed
        )
        # 提取音频数据
        audio_data = result["waveform"]
        sample_rate = result["sample_rate"] # 通常为 24000Hz
        
        # 归一化为 16-bit PCM
        audio_int16 = (audio_data * 32767).astype(np.int16)
        
        # 转为 BytesIO 对象
        byte_io = io.BytesIO()
        import scipy.io.wavfile as wavfile
        wavfile.write(byte_io, rate=sample_rate, data=audio_int16)
        byte_io.seek(0)
        
        return send_file(
            byte_io,
            mimetype='audio/wav',
            as_attachment=True,
            download_name='speech.wav'
        )
    except Exception as e:
        logging.error(f"合成异常：{e}")
        return jsonify({"error": str(e)}), 500

🔍 代码要点说明：

• 懒加载机制：模型在第一次请求时才加载，避免启动卡顿
• 异常捕获全面：确保 API 不会因内部错误崩溃
• 音频格式标准化：输出标准 WAV 文件，兼容绝大多数播放器
• 日志记录：便于排查生产环境问题

常见问题与解决方案（FAQ）

💡 性能优化建议：若用于生产环境，建议增加 模型预热机制：服务启动后立即执行一次空合成，提前加载模型。对并发要求高的场景，可启用 Gunicorn + 多 Worker 模式，但注意 GPU 显存限制。添加 Redis 缓存层：对重复文本做结果缓存，减少计算开销。

总结与扩展建议

本文核心价值回顾

• 一站式部署方案：基于 ModelScope Sambert-Hifigan 模型，提供稳定、免配置的语音合成服务
• 双模式交互支持：同时满足人工试听（WebUI）与自动化调用（API）需求
• 工程级稳定性保障：彻底解决 datasets、numpy、scipy 等经典依赖冲突
• 完整代码参考：包含前后端实现细节，具备高度可复用性

下一步进阶方向

1. 支持更多情感与音色：微调模型以支持儿童声线、方言合成等
2. 添加语音克隆功能：结合 Voice Conversion 技术实现个性化声音定制
3. 集成 ASR 形成闭环：打造语音识别→语义理解→语音回复完整对话系统
4. 部署至云函数：利用 Serverless 架构实现按需计费、弹性伸缩

附录：完整依赖清单（requirements.txt）

Flask==2.3.3
torch==1.13.1
torchaudio==0.13.1
modelscope==1.11.0
datasets==2.13.0
numpy==1.23.5
scipy==1.12.0
soundfile==0.12.1
gunicorn==21.2.0