解决 Rasa 中 Transliteration 与 CountVectorsFeaturizer 的冲突
在构建支持多语言的对话机器人时，尤其是涉及希腊语等非拉丁字符集的场景，经常会遇到一种棘手的情况：用户习惯用拉丁字母拼写希腊语音节（俗称'罗马化希腊语'）。这种输入方式虽然方便，却给自然语言理解带来了挑战。
最近我们在调试 Rasa 项目时发现，当启用 CountVectorsFeaturizer 并配合 ngram 特征提取时，模型对某些相似词汇的分类出现了偏差。典型例子如表示'进入'和'退出'的希腊语词汇，它们在罗马化拼写下非常接近，甚至存在包含关系。
问题根源分析
问题的核心在于 ngram 的特征重叠。当一个词是另一个词的子串，或者两者拥有相同的前缀/后缀时，基于字符 ngram 的向量化过程会提取出高度相似的指纹。
以希腊语为例，如果用户输入的是罗马化形式，eiserchomenes（进入）和 exerchomenes（退出）在 ngram 层面共享了大量连续字符片段。对于较小的 ngram 范围（如 2 到 3），这些共同片段主导了特征向量，导致分类器难以区分细微的语义差异。这并非模型本身的问题，而是特征工程策略与特定语言特性之间的错位。
应对策略
面对这种情况，直接丢弃 Transliteration 功能并不现实，毕竟这是用户的输入习惯。我们需要在配置层面做微调，平衡特征的唯一性与覆盖率。
- 调整 ngram 范围：适当增大最小 ngram 值，减少短子串带来的噪声干扰。
- 增加正则表达式清洗：在预处理阶段过滤掉过于通用的字符组合。
- 混合特征提取：结合
RegexFeaturizer明确定义意图边界。
配置示例
以下是一个针对此类场景优化的 config.yml 片段。重点在于调整 CountVectorsFeaturizer 的参数，使其更关注长序列特征而非局部重叠。
language: en
pipeline:
- name: WhitespaceTokenizer
- name: RegexFeaturizer
- name: LexicalSyntacticFeaturizer
- name: CountVectorsFeaturizer
analyzer: char_wb
min_ngram: 3
max_ngram: 4
- name: DIETClassifier
注意这里将 min_ngram 设为了 3，这在一定程度上规避了单字符或双字符带来的过度匹配风险。当然，具体数值需要根据实际语料库的分布情况进行验证。
