Rasa 实战：解决 Transliteration 与 CountVectorsFeaturizer 的冲突问题

解决 Rasa 中 Transliteration 与 CountVectorsFeaturizer 的冲突

在构建支持多语言的对话机器人时，尤其是涉及希腊语等非拉丁字符集的场景，经常会遇到一种棘手的情况：用户习惯用拉丁字母拼写希腊语音节（俗称'罗马化希腊语'）。这种输入方式虽然方便，却给自然语言理解带来了挑战。

最近我们在调试 Rasa 项目时发现，当启用 CountVectorsFeaturizer 并配合 ngram 特征提取时，模型对某些相似词汇的分类出现了偏差。典型例子如表示'进入'和'退出'的希腊语词汇，它们在罗马化拼写下非常接近，甚至存在包含关系。

问题根源分析

问题的核心在于 ngram 的特征重叠。当一个词是另一个词的子串，或者两者拥有相同的前缀/后缀时，基于字符 ngram 的向量化过程会提取出高度相似的指纹。

以希腊语为例，如果用户输入的是罗马化形式，eiserchomenes（进入）和 exerchomenes（退出）在 ngram 层面共享了大量连续字符片段。对于较小的 ngram 范围（如 2 到 3），这些共同片段主导了特征向量，导致分类器难以区分细微的语义差异。这并非模型本身的问题，而是特征工程策略与特定语言特性之间的错位。

应对策略

面对这种情况，直接丢弃 Transliteration 功能并不现实，毕竟这是用户的输入习惯。我们需要在配置层面做微调，平衡特征的唯一性与覆盖率。

1. 调整 ngram 范围：适当增大最小 ngram 值，减少短子串带来的噪声干扰。
2. 增加正则表达式清洗：在预处理阶段过滤掉过于通用的字符组合。
3. 混合特征提取：结合 RegexFeaturizer 明确定义意图边界。

配置示例

以下是一个针对此类场景优化的 config.yml 片段。重点在于调整 CountVectorsFeaturizer 的参数，使其更关注长序列特征而非局部重叠。

language: en
pipeline:
  - name: WhitespaceTokenizer
  - name: RegexFeaturizer
  - name: LexicalSyntacticFeaturizer
  - name: CountVectorsFeaturizer
    analyzer: char_wb
    min_ngram: 3
    max_ngram: 4
  - name: DIETClassifier

注意这里将 min_ngram 设为了 3，这在一定程度上规避了单字符或双字符带来的过度匹配风险。当然，具体数值需要根据实际语料库的分布情况进行验证。

总结

在多语言 NLU 开发中，字符级的特征提取是一把双刃剑。它既能捕捉拼写变体，也容易引入噪声。通过精细调整 ngram 参数，我们可以在保留用户输入习惯的同时，显著提升意图识别的鲁棒性。遇到类似问题时，不妨先从特征工程的粒度入手排查。