C++ 实战：构建基于对话的搜索引擎

索引是搜索引擎的核心。爬虫下载的文档被处理以构建倒排索引。这与正向索引相反，它将单词映射到包含该单词的文档 ID。

假设我们从维基百科下载文档，ID 为 1。索引表如下：

多个文档可能包含相同单词，因此值是一个 ID 列表：

当用户查询 computer scientist 时，引擎找到两个术语对应 ID 的交集（如 1 和 38）。

标记化文档

标记化是索引创建的第一步。文档被分割成不可分割的单元（Token），并进行规范化。例如，所有单词转为小写，停用词（如 the, a, in）被过滤掉。

此外，还需进行词干提取，将单词转换为其根形式。例如，creating 变为 create，originated 变为 originate。这样，无论用户输入何种形式，都能匹配到索引中的规范词。

对结果进行排序

仅仅返回匹配文档不够，必须按相关性排名。一种策略是记录单词出现次数。例如，描述计算机的文档中 computer 出现多次，权重更高。

其他因素包括个性化（基于用户历史）、设备类型（Linux/Windows）以及文档的新鲜度（更新日期）。

构建推荐引擎

推荐引擎可以是简单的规则集合，也可以结合机器学习。它根据用户行为推荐相关内容。例如，购买过《掌握 Qt5》的用户可能也对《掌握 C++ 编程》感兴趣。

这种机制基于协同过滤思想。如果用户 A 和用户 B 购买了相似书籍，那么 A 没买但 B 买了的书，很可能也适合 A。

使用知识图谱

现代搜索引擎利用知识图谱组织建议。这是一个由节点和边组成的图，节点代表实体（人、书、电影），边代表关系。

例如，Donald Knuth 是'人'，《计算机程序设计艺术》是'书'，两者通过'作者'关系连接。边还可以有权重，表示关联强度。Alan Turing 与 Donald Knuth 都关联'计算机科学'，权重高，因此推荐他们彼此相关。

实现基于对话的搜索引擎

基于对话的搜索引擎通过询问用户问题来澄清意图。例如，搜索'Donald'可能指科学家、卡通人物或总统。系统从知识图中获取匹配主题，提供潜在命中列表供用户选择。

后端主要包括三个模块：

1. 查询解析器：分析查询，规范化单词，收集术语信息。
2. 查询处理器：使用索引检索文档，构建响应。
3. 对话生成器：辅助模块，提供更多选择路径。

实现查询解析器

查询解析器的基本任务是解析查询。例如，zeplin best album 被分成 zeplin, best, album。

struct Token {
    using Word = std::string;
    using Weight = int;
    Word value;
    std::unordered_map<Word, Weight> related; // 语义相关词及权重
};

struct Query {
    std::string raw_query;
    std::string normalized_query;
    std::vector<Token> tokens;
    std::string dialog_id;
};

class QueryParser {
public:
    static Query parse(const std::string& query_string, const std::string& dialog_id = "") {
        Query qr;
        qr.raw_query = query_string;
        qr.dialog_id = dialog_id;
        qr.tokens = tokenize(query_string);
        retrieve_word_relations(qr.tokens);
        return qr;
    }
private:
    static std::vector<Token> tokenize(const std::string& raw_string) {
        // 1. 按空格分割
        // 2. 构造 Token
        // 3. 返回列表
        return {};
    }
    static void retrieve_word_relations(std::vector<Token>& tokens) {
        // 请求知识库获取关系
    }
};

实现查询处理器

查询处理器执行主要工作，从索引检索结果。

struct Document { /* 考虑此结构 */ };

class QueryProcessor {
public:
    using Documents = std::vector<Document>;
    static Documents process_query(const Query& query) {
        if (!query.dialog_id.empty()) {
            // 请求知识图谱获取新术语
        }
        // 从索引检索文档
        // 排序并返回
        return {};
    }
};

尽管实际代码规模庞大，但上述框架提供了设计和实现引擎的良好基础。

总结

从头构建搜索引擎是一项复杂任务，涉及爬虫、索引器和用户界面等多个组件。倒排索引将单词映射到文档位置，极大提升了检索速度。推荐引擎和知识图谱的结合，使得搜索引擎不仅能匹配关键词，还能理解用户意图并提供个性化建议。通过 C++ 实现这些组件，开发者能更深入地理解大规模数据检索系统的架构设计与关键算法。