Rasa 电商对话机器人 GLM-TTS 语音集成实战

其中，KV Cache 是性能优化的关键。开启后，模型缓存历史 attention 键值对，避免重复计算，尤其对超过百字的文本效率提升可达 40% 以上。

第五步：开始合成 & 输出路径

点击「🚀 开始合成」后，等待 5–30 秒即可听到结果。生成的音频会自动播放，并保存至：

@outputs/tts_20251212_113000.wav

文件名为时间戳命名，便于追踪调试记录。

批量生成：自动化语音生产的利器

当你要为上千个商品生成促销语音，或者为不同地区客户定制方言播报时，逐条操作显然不可行。这时就需要启用「批量推理」功能。

准备任务清单（JSONL 格式）

创建一个每行一个 JSON 对象的文件，结构如下：

{"prompt_text": "这是第一段参考文本", "prompt_audio": "examples/prompt/audio1.wav", "input_text": "要合成的第一段文本", "output_name": "output_001"}
{"prompt_text": "这是第二段参考文本", "prompt_audio": "examples/prompt/audio2.wav", "input_text": "要合成的第二段文本", "output_name": "output_002"}

字段说明： - prompt_audio：必填，参考音频路径 - input_text：必填，目标文本 - prompt_text：可选，提高一致性 - output_name：可选，自定义输出名，默认按序号排列

特别提醒：所有音频路径必须是相对或绝对有效路径，且服务进程有读取权限。若使用 Docker 部署，请确保音视频资源已挂载到容器内。

使用 WebUI 批量处理

1. 切换到「批量推理」标签页
2. 点击「上传 JSONL 文件」
3. 设置公共参数（采样率、种子、输出目录）
4. 点击「🚀 开始批量合成」

处理完成后，系统会打包所有音频供下载，目录结构如下：

@outputs/batch/
├── output_001.wav
├── output_002.wav
└── ...

整个过程支持断点续传和错误隔离——某个任务失败不会中断整体流程，日志也会明确标出具体哪一行出错，极大提升了鲁棒性。

高阶玩法：超越基础 TTS 的三大能力

GLM-TTS 的真正优势在于其灵活性和可控性。以下三个功能在电商场景中尤为实用。

1. 音素级控制：解决'多音字'难题

你有没有遇到过 AI 把'银行'读成'yín xíng'？这种细节严重影响专业感。GLM-TTS 提供了通过 G2P（Grapheme-to-Phoneme）规则干预发音的能力。

启用方式（命令行）：

python glmtts_inference.py --data=example_zh --exp_name=_test --use_cache --phoneme

核心配置文件位于：configs/G2P_replace_dict.jsonl

你可以在这里自定义发音规则，例如：

{"word": "银行", "phoneme": "yin2 hang2"}
{"word": "重", "context": "重新", "phoneme": "chong2"}
{"word": "发", "context": "发货", "phoneme": "fa1"}

注意，context 字段用于上下文匹配，避免全局替换造成误读。比如'发'在'头发'中应读作'fa4'，而在'发货'中才是'fa1'。

这一机制非常适合构建企业级语音知识库，确保品牌术语、产品名称、活动口号的统一发音。

2. 流式推理：实现低延迟实时播报

传统 TTS 必须等整段文本生成完毕才能播放，延迟高，不适合电话客服、智能外呼等实时场景。GLM-TTS 支持 chunk 级流式输出，做到'边说边生成'。

Token 生成速率稳定在 25 tokens/sec，相当于每秒输出约 10–15 个汉字的音频数据。

Python API 示例：

import requests
stream_url = "http://localhost:7860/api/stream"
response = requests.post(stream_url, json={
    "text": "欢迎光临我们的电商平台",
    "audio_prompt": "reference_audio.wav"
}, stream=True)
for chunk in response.iter_content(chunk_size=1024):
    if chunk:
        play_audio_chunk(chunk) # 实时播放函数

配合 WebSocket 可进一步降低端到端延迟，在 IVR 系统或语音助手对话中实现接近真人对话的流畅体验。

3. 情感迁移：一句话也能'带情绪'

别小看语气的力量。同样是'您的订单已发货'，用'热情'语气说能让用户感受到喜悦，用'冷静'语气则显得更可靠。

GLM-TTS 不需要额外训练，只需提供带有特定情感的参考音频，就能将情绪特征迁移到新语音中。

支持的情感类型包括： - 自然（Neutral） - 热情（Excited） - 专业（Professional） - 亲切（Friendly） - 冷静（Calm）

应用场景示例： - 客服通知 → 使用'专业'语气 - 促销广播 → 使用'热情'语气 - 故障提醒 → 使用'冷静'语气 - 会员问候 → 使用'亲切'语气

在 Rasa 动作中可通过元数据触发不同情感：

# actions.yml
actions:
  utter_order_status:
    - text: "您的订单正在配送途中"
      voice_type: "professional"
      tts_enabled: true

后台服务解析 voice_type 后自动选择对应的情感参考音频进行合成。

实战技巧：如何稳定产出高质量语音？

以下是我在多个电商项目中总结的最佳实践，涵盖音频准备、参数调优和系统集成。

参考音频选择黄金法则

✅ 推荐做法： - 单一人声，清晰无杂音 - 录音环境安静（最好在录音棚） - 语速适中，情感自然 - 包含常见句式（疑问句、陈述句）

❌ 避坑指南： - 不要用带背景音乐的广告音频 - 避免多人对话剪辑片段 - 不要用电话录音（频宽受限） - 不要用过短（<2s）或过长（>15s）音频

一个小技巧：准备一组'标准参考音频库'，比如客服男声、客服女声、粤语销售员等，统一命名管理，方便后续调用。

文本预处理建议

• 正确使用标点符号：逗号、句号影响停顿节奏；感叹号增强语气
• 长文本分段合成：超过 150 字建议拆分为多个句子分别生成，再拼接
• 中英混合无需特殊标记：系统能自动识别语言边界
• 数字建议保留阿拉伯数字形式，如'5 折'而非'五折'，减少误读风险

参数调优策略

特别提示：首次调试不要盲目调参，先用默认配置跑通流程，确认基础效果后再逐步优化。

与 Rasa 的深度集成方案

在电商机器人中，TTS 应该是对话逻辑的一部分，而不是孤立模块。以下是几种典型集成模式：

场景一：订单状态播报

def action_speak_order_status():
    text = f"尊敬的用户，您编号为{order_id}的订单已发货"
    generate_tts(text, prompt_audio="customer_service_voice.wav")

场景二：促销活动广播

def action_promotion_announcement():
    text = "双十一限时大促！全场商品低至五折起！"
    generate_tts(text, emotion="excited", sampling_rate=32000)

场景三：多语言客户服务

def speak_multilingual(message, lang="zh"):
    prompts = {
        "en": "english_agent.wav",
        "yue": "cantonese_salesman.wav",
        "default": "standard_mandarin.wav"
    }
    prompt = prompts.get(lang, prompts["default"])
    generate_tts(message, prompt_audio=prompt)

还可结合 Rasa 的 Slot 和 Tracker 数据动态生成个性化语音内容，比如：

'李先生，您昨天加入购物车的 AirPods Pro 现在有优惠哦~'

这种高度个性化的语音触达，转化率远高于普通短信推送。

性能表现与硬件建议

实际部署前，必须评估系统负载能力和资源消耗。

生成速度参考

注：基于 RTX 3090 测试，受 GPU 显存、文本复杂度影响

显存占用情况

建议预留至少 2GB 缓冲空间，防止批量任务溢出。

推荐部署配置

对于高并发场景，建议采用模型服务化架构（如 Triton Inference Server），并通过 API 网关做请求调度。

故障排查与常见问题解答

Q1: 生成的音频在哪里？

A: 默认保存路径为 @outputs/ - 单条合成：@outputs/tts_时间戳.wav - 批量任务：@outputs/batch/xxx.wav

Q2: 如何提高音色相似度？

A: 三点关键：

1. 使用高质量、无噪音的参考音频
2. 提供准确的参考文本
3. 控制音频长度在 5–8 秒最佳区间

Q3: 支持哪些语言？

A： ✅ 中文普通话 ✅ 英文 ✅ 中英混合 ⚠️ 其他语言（如日语、韩语）效果不稳定，暂不推荐

Q4: 生成太慢怎么办？

A: 优化方向： - 改用 24kHz 采样率 - 确保开启 KV Cache - 减少单次合成字数 - 检查 GPU 是否满载或显存不足

Q5: 如何释放显存？

A: 点击界面上的「🧹 清理显存」按钮，或重启服务进程。

Q6: 批量推理失败？

A: 检查四项：

1. JSONL 格式是否合法（每行独立 JSON）
2. 所有音频路径是否存在
3. 文件权限是否可读
4. 查看日志定位具体错误行

Q7: 音质不满意？

A: 尝试： - 更换参考音频 - 使用 32kHz 输出 - 调整随机种子（尝试多个值） - 检查输入文本是否有错别字或歧义词

Q8: 如何实现方言克隆？

A: 方法如下：

1. 使用目标方言的真实语音作为参考音频（至少 5 秒）
2. 在文本中加入方言常用表达（如'靓仔'、'巴适'）
3. 推荐使用 32kHz 保留更多语音细节
4. 当前已验证支持：粤语、四川话、上海话等主要方言区

写在最后

语音合成不再是'锦上添花'的功能，而是下一代对话系统的基础设施。GLM-TTS 凭借其强大的零样本克隆、情感迁移和流式输出能力，已经能够支撑起复杂的电商服务场景。

更重要的是，它足够开放和灵活，允许我们根据业务需求做深度定制——无论是打造专属客服音色，还是实现千人千面的语音营销，都有可能通过这套系统落地。

如果你正在构建基于 Rasa 的智能客服，不妨试试把它接入 GLM-TTS。也许下一次用户接到电话时，听到的不再是机械朗读，而是一个熟悉、可信、有温度的声音。