C++ 搜索引擎核心：基于正倒排索引的 Searcher 实现解析

这里利用 tokens_map 的哈希特性自动去重。当同一文档匹配多个关键词时，doc_id 相同的记录会被聚合，累加权重并合并关键词列表。

2. 合并与排序

将去重后的数据转移回向量，并根据权重降序排列。

std::vector<InvertedElemPrint> inverted_list_all;
for(const auto &item : tokens_map)
    inverted_list_all.push_back(std::move(item.second));

std::sort(inverted_list_all.begin(), inverted_list_all.end(), [](const InvertedElemPrint &e1, const InvertedElemPrint &e2){
    return e1.weight > e2.weight;
});

3. 结果序列化

最后通过正向索引获取文档详情，提取标题、URL 和摘要，序列化为 JSON 返回。

Json::Value root;
for(auto& item:inverted_list_all) {
    ns_index::DocInfo* doc=index->GetForwardIndex(item.doc_id);
    if(doc==nullptr) continue;
    Json::Value elem;
    elem["title"]=doc->title;
    elem["desc"]=GetDesc(doc->content,item.words[0]);
    elem["url"]=doc->url;
    root.append(elem);
}
Json::StyledWriter writer;
*json_string=writer.write(root);

摘要生成策略

GetDesc 函数负责在 HTML 内容中定位关键词，截取前后片段生成摘要。若未找到关键词则返回默认提示。

std::string GetDesc(const std::string& html_content,const std::string& word) {
    int prev_step=50; int next_step=100;
    auto iter=std::search(html_content.begin(),html_content.end(),word.begin(),word.end(),[](int x,int y){
        return (std::tolower(x)==std::tolower(y));
    });
    if(iter==html_content.end()) return "None1";
    int pos=std::distance(html_content.begin(),iter);
    if(pos==std::string::npos) return "None1";
    int start=0; int end=html_content.size()-1;
    if(pos-prev_step>start) start=pos-prev_step;
    if(pos+next_step<end) end=pos+next_step;
    if(start>=end) return "None2";
    std::string desc=html_content.substr(start,end-start);
    desc+="...";
    return desc;
}

核心结构体

InvertedElemPrint 用于承载去重后的文档信息，确保同一文档在结果集中只出现一次。

struct InvertedElemPrint{
    uint64_t doc_id;
    int weight;
    std::vector<std::string> words;
    InvertedElemPrint(): doc_id(0), weight(0) {}
};

完整代码参考

#pragma once 
#include"index.hpp" 
#include"usuallytool.hpp" 
#include<algorithm> 
#include<jsoncpp/json/json.h> 
#include"log.hpp" 
namespace ns_searcher{ 
struct InvertedElemPrint{ 
    uint64_t doc_id; 
    int weight; 
    std::vector<std::string> words; 
    InvertedElemPrint(): doc_id(0), weight(0) {} 
}; 
class Searcher{ 
private: ns_index::Index* index; 
public: Searcher(){}; ~Searcher(){}; 
public: void InitSearcher(const std::string& input) { 
    index=ns_index::Index::GetInstance(); 
    index->BuildIndex(input); 
    LOG1(NORMAL,"建立索引成功..."); 
} 
void Search(const std::string& query,std::string* json_string) { 
    std::vector<std::string>words; 
    ns_util::JiebaUtil::CutString(query,&words); 
    std::vector<InvertedElemPrint> inverted_list_all; 
    std::unordered_map<uint64_t,InvertedElemPrint> tokens_map; 
    for(std::string w:words) { 
        boost::to_lower(w); 
        ns_index::InvertedList* inverted_list=index->GetInvertedList(w); 
        if(inverted_list==nullptr) continue; 
        for(const auto &elem : *inverted_list){ 
            auto &item = tokens_map[elem.doc_id]; 
            item.doc_id = elem.doc_id; 
            item.weight += elem.weight; 
            item.words.push_back(elem.word); 
        } 
    } 
    for(const auto &item : tokens_map) 
        inverted_list_all.push_back(std::move(item.second)); 
    std::sort(inverted_list_all.begin(), inverted_list_all.end(), [](const InvertedElemPrint &e1, const InvertedElemPrint &e2){ 
        return e1.weight > e2.weight; 
    }); 
    Json::Value root; 
    for(auto& item:inverted_list_all) { 
        ns_index::DocInfo* doc=index->GetForwardIndex(item.doc_id); 
        if(doc==nullptr) continue; 
        Json::Value elem; 
        elem["title"]=doc->title; 
        elem["desc"]=GetDesc(doc->content,item.words[0]); 
        elem["url"]=doc->url; 
        root.append(elem); 
    } 
    Json::StyledWriter writer; 
    *json_string=writer.write(root); 
} 
std::string GetDesc(const std::string& html_content,const std::string& word) { 
    int prev_step=50; int next_step=100; 
    auto iter=std::search(html_content.begin(),html_content.end(),word.begin(),word.end(),[](int x,int y){ 
        return (std::tolower(x)==std::tolower(y)); 
    }); 
    if(iter==html_content.end()) return "None1"; 
    int pos=std::distance(html_content.begin(),iter); 
    if(pos==std::string::npos) return "None1"; 
    int start=0; int end=html_content.size()-1; 
    if(pos-prev_step>start) start=pos-prev_step; 
    if(pos+next_step<end) end=pos+next_step; 
    if(start>=end) return "None2"; 
    std::string desc=html_content.substr(start,end-start); 
    desc+="..."; 
    return desc; 
} 
}; 
}