C++ 搜索引擎核心模块：Searcher 设计与代码解析

3. GetDesc 摘要生成

该函数用于寻找摘要，即在 html_content 里面查找是否出现了关键字 word。相当于浏览器帮我们选出和这个词相关的网页信息的过程。

条件判断确认网页信息的长度是否足够，如果不够则直接截取全部，防止越界访问。

std::string GetDesc(const std::string& html_content,const std::string& word) {
    int prev_step=50;
    int next_step=100;
    auto iter=std::search(html_content.begin(),html_content.end(),word.begin(),word.end(),[](int x,int y){
        return (std::tolower(x)==std::tolower(y));
    });
    if(iter==html_content.end()) return "None1";
    int pos=std::distance(html_content.begin(),iter);
    if(pos==std::string::npos) return "None1";
    int start=0;
    int end=html_content.size()-1;
    if(pos-prev_step>start) start=pos-prev_step;
    if(pos+next_step<end) end=pos+next_step;
    if(start>=end) return "None2";
    std::string desc=html_content.substr(start,end-start);
    desc+="...";
    return desc;
}

4. InvertedElemPrint 结构体

这个结构体的出现是为了解决重复文档的问题。作为'去重与信息聚合'的载体，解决'同一文档因匹配多个关键词而重复出现'的问题。

通过 doc_id 作为核心依据，配合哈希表实现'同一文档只被记录一次'。当用户查询包含多个关键词时，同一文档可能匹配多个关键词并出现在多个倒排列表中，InvertedElemPrint 借助哈希表的键唯一性，避免文档在结果中重复出现。

struct InvertedElemPrint{
    uint64_t doc_id;
    int weight;
    std::vector<std::string> words;
    InvertedElemPrint(): doc_id(0), weight(0) {}
};

5. 完整代码实现

通过'索引构建'提前做好数据准备，通过'查询处理'高效匹配并排序文档，通过'结果格式化'衔接前端展示，最终实现'用户输入关键词→得到清晰搜索结果'的完整功能。

#pragma once
#include"index.hpp"
#include"usuallytool.hpp"
#include<algorithm>
#include<jsoncpp/json/json.h>
#include"log.hpp"
namespace ns_searcher{
struct InvertedElemPrint{
    uint64_t doc_id;
    int weight;
    std::vector<std::string> words;
    InvertedElemPrint(): doc_id(0), weight(0) {}
};
class Searcher{
private:
    ns_index::Index* index;
public:
    Searcher(){};
    ~Searcher(){}
public:
    void InitSearcher(const std::string& input) {
        index=ns_index::Index::Getinstance();
        index->BuildIndex(input);
        LOG1(NORMAL,"建立索引成功...");
    }
    void Search(const std::string& query,std::string* json_string) {
        std::vector<std::string>words;
        ns_util::JiebaUtil::CutString(query,&words);
        std::vector<InvertedElemPrint> inverted_list_all;
        std::unordered_map<uint64_t,InvertedElemPrint> tokens_map;
        for(std::string w:words) {
            boost::to_lower(w);
            ns_index::InvertedList* inverted_list=index->GetInvertedList(w);
            if(inverted_list==nullptr) continue;
            for(const auto &elem : *inverted_list){
                auto &item = tokens_map[elem.doc_id];
                item.doc_id = elem.doc_id;
                item.weight += elem.weight;
                item.words.push_back(elem.word);
            }
        }
        for(const auto &item : tokens_map)
            inverted_list_all.push_back(std::move(item.second));
        std::sort(inverted_list_all.begin(), inverted_list_all.end(), [](const InvertedElemPrint &e1, const InvertedElemPrint &e2){
            return e1.weight > e1.weight;
        });
        Json::Value root;
        for(auto& item:inverted_list_all) {
            ns_index::DocInfo* doc=index->GetForwardIndex(item.doc_id);
            if(doc==nullptr) continue;
            Json::Value elem;
            elem["title"]=doc->title;
            elem["desc"]=GetDesc(doc->content,item.words[0]);
            elem["url"]=doc->url;
            root.append(elem);
        }
        Json::StyledWriter writer;
        *json_string=writer.write(root);
    }
    std::string GetDesc(const std::string& html_content,const std::string& word) {
        int prev_step=50;
        int next_step=100;
        auto iter=std::search(html_content.begin(),html_content.end(),word.begin(),word.end(),[](int x,int y){
            return (std::tolower(x)==std::tolower(y));
        });
        if(iter==html_content.end()) return "None1";
        int pos=std::distance(html_content.begin(),iter);
        if(pos==std::string::npos) return "None1";
        int start=0;
        int end=html_content.size()-1;
        if(pos-prev_step>start) start=pos-prev_step;
        if(pos+next_step<end) end=pos+next_step;
        if(start>=end) return "None2";
        std::string desc=html_content.substr(start,end-start);
        desc+="...";
        return desc;
    }
};
}