Boost.Filesystem 清洗 HTML 文档并生成索引数据

2.2 提取 title

网页标题一般都在 <title> 和 </title> 之间，所以这里直接找边界，再把中间那段拿出来。思路简单，但对这种固定结构的 HTML 很够用。

static bool ParseTitle(std::string &file, std::string *title) {
    std::size_t begin = file.find("<title>");
    if (begin == std::string::npos) return false;
    std::size_t end = file.find("</title>");
    if (end == std::string::npos) return false;
    begin += std::string("<title>").size();
    if (begin > end) return false;
    *title += file.substr(begin, end - begin);
    return true;
}

2.3 提取 content

正文清洗这里用了一个很轻量的状态机。遇到标签就停在 LABEL，离开标签后切到 CONTENT。扫描整段 HTML 时，把 <...> 里面的内容跳掉，只保留正文文本。

换行符也顺手替换成空格，避免后面的索引数据被切得太碎。

static bool ParseContent(std::string &file, std::string *content) {
    typedef enum status {
        LABEL,
        CONTENT
    } judge;
    judge s = LABEL;
    for (char c : file) {
        switch (s) {
            case LABEL:
                if (c == '>') s = CONTENT;
                break;
            case CONTENT:
                if (c == '<') s = LABEL;
                else {
                    if (c == '\n') c = ' ';
                    *content += c;
                }
                break;
            default:
                break;
        }
    }
    return true;
}

2.4 构建 url

这一步是把本地文件路径映射成 Boost 文档的在线地址。做法就是保留相对路径，拼到固定的 URL 前缀后面，线上和线下文档就能对应起来。

static bool ParseUrl(const std::string &file_path, const std::string &src_path, std::string *url) {
    std::string url_head = "https://www.boost.org/doc/libs/1_89_0/doc/html";
    std::string url_tail = file_path.substr(src_path.size());
    *url = url_head + url_tail;
    return true;
}

3. 保存结果

保存阶段没有太多花样：打开输出文件，遍历 results，把标题、正文、URL 按约定的分隔符拼成一行，再写入文件。

这里用 \3 分隔字段，\n 分隔文档。格式不复杂，但后面做解析和建索引时很省事。

bool SaveHtml(const std::vector<DocInfo_t> &results, const std::string &output) {
    std::ofstream out(output);
    if (!out.is_open()) {
        std::cout << "open " << output << " failed!" << std::endl;
        return false;
    }
    for (auto &item : results) {
        std::string out_string;
        out_string += item.title;
        out_string += '\3';
        out_string += item.content;
        out_string += '\3';
        out_string += item.url;
        out_string += '\n';
        out.write(out_string.c_str(), out_string.size());
    }
    out.close();
    return true;
}