Dify 工作流集成 Sambert-Hifigan 语音合成 API 实现对话机器人

1. 选择情感模式（如'happy'）
2. 点击 '开始合成语音'
3. 等待几秒后，系统自动生成 .wav 文件并支持播放与下载

在文本框中输入一段中文，例如：

'你好，我是你的 AI 助手，今天天气真不错！'

打开浏览器，输入服务地址。

✅ 若能正常播放音频，则说明本地 TTS 服务已成功运行。

接口解析：Sambert-Hifigan 的 API 设计

为了在 Dify 工作流中调用该服务，我们需要了解其 HTTP API 规范。

API 端点信息

请求体格式（JSON）

{
  "text": "今天是个好日子",
  "emotion": "happy"
}

返回结果

成功响应返回音频文件的 Base64 编码及元数据：

{
  "status": "success",
  "audio_base64": "UklGRiQAAABXQVZFZm...AAA==",
  "format": "wav",
  "sample_rate": 16000
}

失败时返回：

{
  "status": "error",
  "message": "Text is required"
}

在 Dify 工作流中集成 TTS 服务

Dify 是一个强大的可视化 AI 应用开发平台，支持通过'HTTP 请求节点'调用外部 API。我们将在此构建一个完整的对话机器人流程。

架构设计概览

用户输入 ↓ LLM 对话节点（如通义千问） ↓ HTTP 请求节点 → 调用 Sambert-Hifigan TTS API ↓ 返回语音 Base64 → 前端播放 

步骤一：创建 Dify 应用并添加 LLM 节点

1. 登录 Dify 平台，新建'对话型'应用
2. 添加一个 Large Language Model 节点，用于生成 AI 回复
3. 设置提示词模板，例如：你是一个温暖贴心的 AI 助手，请用友好语气回答用户问题。

步骤二：添加 HTTP 请求节点调用 TTS

点击'+'号添加新节点，选择 HTTP 请求

配置请求参数

📌 注意：{{llm_output}} 是前一个节点的输出变量，会自动注入

步骤三：处理返回结果并输出语音

由于 Dify 前端支持直接播放 Base64 音频，我们可以在最终输出中构造一个语音响应。

输出变量映射

在'输出节点'中设置：

{
  "text": "{{llm_output}}",
  "audio": "data:audio/wav;base64,{{http_response.audio_base64}}"
}

这样前端即可通过 <audio src="{{audio}}"> 标签播放语音。

完整 Python 示例：模拟外部调用 TTS 服务

虽然 Dify 提供了图形化编排能力，但理解底层调用逻辑有助于调试。以下是使用 Python 调用 Sambert-Hifigan API 的完整示例：

import requests
import base64
import json

def text_to_speech(text: str, emotion: str = "neutral"):
    # 替换为你的服务地址
    url = "http://localhost:8080/tts"
    payload = {
        "text": text,
        "emotion": emotion
    }
    headers = {
        "Content-Type": "application/json"
    }
    try:
        response = requests.post(url, data=json.dumps(payload), headers=headers, timeout=30)
        if response.status_code == 200:
            result = response.json()
            if result["status"] == "success":
                # 解码 Base64 音频
                audio_data = base64.b64decode(result["audio_base64"])
                # 保存为文件
                with open("output.wav", "wb") as f:
                    f.write(audio_data)
                print("✅ 语音已保存为 output.wav")
                return "output.wav"
            else:
                print(f"❌ 合成失败：{result['message']}")
        else:
            print(f"❌ HTTP 错误：{response.status_code}, {response.text}")
    except Exception as e:
        print(f"🚨 请求异常：{str(e)}")

# 使用示例
if __name__ == "__main__":
    text_to_speech("欢迎使用语音合成服务，这是来自 AI 的问候！", "happy")

📌 代码说明：

• 自动处理 JSON 序列化与 Base64 解码
• 支持超时控制与异常捕获
• 生成的 output.wav 可直接用播放器打开验证

实际测试案例：打造'天气播报机器人'

让我们通过一个真实场景验证整个流程。

场景描述

用户提问：'北京明天天气怎么样？'

期望行为：

1. LLM 生成一段描述性回复
2. 将回复转为语音
3. 前端自动播放语音播报

Dify 工作流配置

1. 用户输入节点：接收问题
2. LLM 节点：提示词如下

   请根据用户问题提供简洁准确的回答。如果是天气相关，请加入表情符号和积极语气。
   示例回答：'☀️ 北京明天晴转多云，气温 18-25°C，适宜户外活动哦~'
   

3. HTTP 节点：调用 TTS 服务，情感设为 happy
4. 输出节点：同时返回文本与音频 Base64

测试结果

输入：北京明天天气怎么样？ LLM 输出：🌤️ 明天北京阳光明媚，最高温 26 度，非常适合出门散步呢！ TTS 合成：✅ 成功生成带有欢快语调的语音文件 播放效果：自然流畅，重音与停顿合理，情感表达明显

常见问题与解决方案

✅ 最佳实践建议：

• 对于生产环境，建议将 TTS 服务部署在独立服务器，并启用 Nginx 反向代理
• 添加缓存机制：对常见回复语句缓存音频 Base64，减少重复合成开销
• 监控日志：记录每次合成耗时，便于性能调优

总结：构建有'温度'的 AI 对话系统

通过本文的实践，我们实现了从零到一的全链路语音对话机器人搭建：

1. ✅ 部署了一个稳定、带 WebUI 的 Sambert-Hifigan 语音合成服务
2. ✅ 掌握了其 API 调用方式与参数细节
3. ✅ 在 Dify 工作流中成功集成 TTS 节点，实现'文本→语音'转换
4. ✅ 完成了端到端测试，验证了多情感语音的实际表现

这项能力不仅适用于对话机器人，还可拓展至：

• 有声书生成
• 教育课件配音
• 智能硬件播报
• 游戏 NPC 语音

🔮 未来展望：随着大模型与语音技术的深度融合，我们可以进一步探索'情绪感知 + 语音表达'的闭环系统——即根据用户输入的情感倾向，动态调整 AI 回复的语气与语音风格，真正实现'共情式交互'。