C++ 实战：构建基于对话框的搜索引擎

如果有多个文档包含相同单词，ID 列表会更长：

当用户查询 computer scientist 时，引擎找到两个列表的交集（如 1 和 38）。

标记化文档

标记化是索引创建的第一步。类似于编译器解析源代码，搜索引擎将文档分割成不可分割的单元（标记）。

标记通常需要规范化，例如转换为小写。此外，高频无意义词（如 the, a, in）被称为停用词，会被过滤掉。还将单词转换为其根形式（词干提取），例如 creating 变为 create。

对结果进行排序

仅仅返回匹配文档是不够的，必须按相关性排名。一种策略是记录单词出现次数。例如，描述计算机的文档中 computer 出现多次，权重更高。

还可以考虑更新日期，新鲜内容优先级更高。

构建推荐引擎

推荐引擎可以视为 AI 驱动的解决方案。它根据用户行为（如购买历史、浏览记录）推荐相关内容。例如，购买了《掌握 Qt5》的用户可能被推荐《掌握 C++ 编程》。

简单的推荐机制可以通过聚类分析实现。如果用户 A 和用户 B 购买了相似的书，那么用户 A 喜欢的书也可以推荐给 B。

使用知识图谱

知识图谱由节点和边组成，节点代表实体（人、书、电影等），边代表关系。例如，Donald Knuth 是'人'，《计算机程序设计艺术》是'书'，两者通过'作者'关系连接。

通过给边添加权重，可以量化关系的紧密程度。这有助于在搜索 Donald Knuth 时，向用户推荐 Alan Turing（同为计算机科学家且权重高），而不是 Peter Weyland（虚构角色）。

实现基于对话的搜索引擎

基于对话的搜索引擎涉及构建用户界面，询问用户与其查询相关的问题，适用于模糊结果场景。例如，搜索'Donald'可能指代多位名人，系统可通过对话澄清意图。

后端主要模块包括：

• 查询解析器：分析查询，规范化单词。
• 查询处理器：检索索引数据，构建响应。
• 对话生成器：提供额外选择以缩小结果。

实现查询解析器

查询解析器的基本任务是解析查询字符串。以下类表示基本的查询解析器：

class QueryParser {
public:
    static Query parse(const std::string& query_string) {
        auto tokens = tokenize(query_string);
        // construct the Query object and return
        return Query{query_string, normalize(query_string), tokens};
    }

private:
    static std::vector<Token> tokenize(const std::string& raw_query) {
        // split by space, construct Token for each word
        return {};
    }
};

Query 结构包含原始查询、规范化查询及标记列表。

struct Query {
    std::string raw_query;
    std::string normalized_query;
    std::vector<Token> tokens;
    std::string dialog_id;
};

struct Token {
    using Word = std::string;
    using Weight = int;
    Word value;
    std::unordered_map<Word, Weight> related;
};

related 属性表示语义相关的单词列表及其权重。

实现查询处理器

查询处理器执行主要工作，从索引检索结果并根据查询响应文档列表。

struct Document { /* consider this */ };

class QueryProcessor {
public:
    using Documents = std::vector<Document>;
    static Documents process_query(const Query& query) {
        if (!query.dialog_id.empty()) {
            // request knowledge graph for new terms
        }
        // retrieve documents from index
        // sort and return documents
        return Documents{};
    }
};

process_query() 函数根据标记从索引检索文档。对话 ID 允许请求知识库获取更多相关标记。

总结

从头构建搜索引擎是一项复杂任务。网络搜索引擎由爬虫、索引器和用户界面等多个组件组成。倒排索引将单词映射回文档位置，是实现快速搜索的关键。

推荐引擎与基于对话的搜索引擎功能相连，旨在向用户提供有针对性的问题，以更好地了解用户实际想要搜索的内容。通过从 C++ 的角度讨论计算机科学的各种主题，我们完成了本书的阅读。软件开发不仅仅局限于编码，架构和设计项目是成功应用开发的关键步骤之一。