C++ Boost 搜索引擎数据清洗与解析实现详解

2. 标题提取

网页标题通常包裹在 <title> 标签中。我们通过查找标签的首尾位置来截取中间的内容。这种方法简单直接，适用于结构规范的 HTML。

static bool ParseTitle(std::string &file, std::string *title) {
    std::size_t begin = file.find("<title>");
    if (begin == std::string::npos) return false;
    
    std::size_t end = file.find("</title>");
    if (end == std::string::npos) return false;
    
    begin += std::string("<title>").size();
    if (begin > end) return false;
    
    *title += file.substr(begin, end - begin);
    return true;
}

3. 内容提取

正文部分包含大量嵌套标签，简单的字符串查找不再适用。这里采用状态机的方式：定义一个枚举类型标记当前是处于'标签内'还是'内容区'。遍历字符时，遇到 < 进入标签模式，遇到 > 退出标签模式。在内容模式下，将换行符统一替换为空格，避免格式错乱。

static bool ParseContent(std::string &file, std::string *content) {
    typedef enum status {
        LABLE,
        CONTENT
    } judge;
    
    judge s = LABLE;
    
    for (char c : file) {
        switch (s) {
            case LABLE:
                if (c == '>') s = CONTENT; // 修正：赋值操作
                break;
            case CONTENT:
                if (c == '<') s = LABLE;
                else {
                    if (c == '\n') c = ' '; // 修正：转义字符
                    *content += c;
                }
                break;
            default:
                break;
        }
    }
    return true;
}

4. URL 构建

本地文件路径需要映射为在线 URL。策略是将固定的域名头部与文件的相对路径拼接。这种方式具有良好的扩展性，当基础 URL 变更或处理不同页面时，只需调整相对路径即可。

static bool ParseUrl(const std::string &file_path, std::string *url) {
    std::string url_head = "https://www.boost.org/doc/libs/1_89_0/doc/html";
    // 假设 src_path 在当前作用域可用，用于计算相对路径
    std::string url_tail = file_path.substr(src_path.size());
    
    *url = url_head + url_tail;
    return true;
}

结果持久化

最后一步是将处理好的数据写入磁盘。我们使用 ofstream 以文本模式打开输出文件，遍历结果集并将标题、内容和 URL 按特定分隔符（如 \3）组合成一行，写入文件流。

注意 write 函数是 C 语言接口，不接受 C++ 的 std::string 对象，因此需调用 c_str() 进行转换。完成写入后记得关闭文件句柄。

bool SaveHtml(const std::vector<DocInfo_t> &results, const std::string &output) {
    std::ofstream out(output);
    
    if (!out.is_open()) {
        std::cout << "open " << output << " failed!" << std::endl;
        return false;
    }
    
    for (auto &item : results) {
        std::string out_string;
        out_string += item.title;
        out_string += '\3';
        out_string += item.content;
        out_string += '\3';
        out_string += item.url;
        out_string += '\n';
        
        out.write(out_string.c_str(), out_string.size());
    }
    
    out.close();
    return true; // 修正：成功返回 true
}