BoostCompass(数据准备预处理模块)

// 遍历目录，获取所有HTML文件的路径
bool EnumFile(const std::string &src_path, std::vector<std::string> *files_list) {
    namespace fs = boost::filesystem;
    fs::path root_path(src_path);

    // 检查路径是否存在
    if (!fs::exists(root_path)) {
        std::cerr << src_path << " not exists" << std::endl;
        return false;
    }

    // 使用递归目录迭代器遍历目录
    fs::recursive_directory_iterator end;
    for (fs::recursive_directory_iterator iter(root_path); iter != end; iter++) {
        // 跳过非普通文件
        if (!fs::is_regular_file(*iter)) {
            continue;
        }
        // 跳过非HTML文件
        if (iter->path().extension() != ".html") {
            continue;
        }
        // 将HTML文件路径添加到列表中
        files_list->push_back(iter->path().string());
    }
    return true;
}

// 辅助函数，用于解析HTML文件中的标题
static bool ParseTitle(const std::string &file, std::string *title)
{
    // 查找标题起始位置
    std::size_t begin = file.find("<title>");
    if(begin == std::string::npos){   // 如果未找到标题起始标记
        return false;    // 返回失败
    }
    // 查找标题结束位置
    std::size_t end = file.find("</title>");
    if(end == std::string::npos){   // 如果未找到标题结束标记
        return false;   // 返回失败
    }

    begin += std::string("<title>").size(); // 调整起始位置，跳过"<title>"

    if(begin > end){ // 如果起始位置在结束位置之后
        return false; // 返回失败
    }
    // 提取标题内容
    *title = file.substr(begin, end - begin);
    return true; // 返回成功
}

// 辅助函数，用于解析HTML文件中的内容（去除HTML标签）
static bool ParseContent(const std::string &file, std::string *content)
{
    //去标签,基于一个简易的状态机
    enum status{
        LABLE,   // 标签状态
        CONTENT  // 内容状态
    };

    enum status s = LABLE; // 初始化状态为标签状态
    for( char c : file){   // 遍历文件中的每个字符
        switch(s){         // 根据当前状态进行处理
            case LABLE:    // 当前状态为标签状态
                if(c == '>') s = CONTENT; // 如果遇到'>'，切换到内容状态
                break;
            case CONTENT:  // 当前状态为内容状态
                if(c == '<') s = LABLE; // 如果遇到'<'，切换到标签状态
                else {
                    //这里不需要保留原始文件中的\n,因为后面要用\n作为html解析之后文本的分隔符
                    if(c == '\n') c = ' '; // 将换行符替换为空格
                    content->push_back(c); // 将字符添加到内容中
                }
                break;
            default:
                break;
        }
    }

    return true; // 返回成功
}

// 辅助函数，用于构建文档的URL
static bool ParseUrl(const std::string &file_path, std::string *url)
{
    // 构造URL头部
    std::string url_head = "https://www.boost.org/doc/libs/1_78_0/doc/html";  
    // 提取URL尾部
    std::string url_tail = file_path.substr(src_path.size());
    // 拼接URL
    *url = url_head + url_tail;
    return true; // 返回成功
}

// 解析HTML文件，提取标题、内容和URL
bool ParseHtml(const std::vector<std::string> &files_list, std::vector<DocInfo_t> *results) {
    for (const std::string &file : files_list) {
        // 读取文件内容
        std::string file_content;
        if (!ns_util::FileUtil::ReadFile(file, &file_content)) {
            continue;
        }
        // 解析标题
        DocInfo_t doc;
        if (!ParseTitle(file_content, &doc.title)) {
            continue;
        }
        // 解析内容（去除HTML标签）
        if (!ParseContent(file_content, &doc.content)) {
            continue;
        }
        // 解析URL
        if (!ParseUrl(file, &doc.url)) {
            continue;
        }
        // 将解析结果添加到结果集中
        results->push_back(std::move(doc));
    }
    return true;
}

// 保存解析结果到文件
#define SEP '\3' // 定义分隔符
bool SaveHtml(const std::vector<DocInfo_t> &results, const std::string &output) {
    std::ofstream out(output, std::ios::out | std::ios::binary); // 以二进制方式进行写入
    if (!out.is_open()) {
        std::cerr << "open " << output << " failed!" << std::endl;
        return false;
    }
    // 遍历结果集，将每个文档的信息写入文件
    for (auto &item : results) {
        std::string out_string;
        out_string = item.title;
        out_string += SEP;
        out_string += item.content;
        out_string += SEP;
        out_string += item.url;
        out_string += '\n';

        out.write(out_string.c_str(), out_string.size());
    }

    out.close(); // 关闭文件
    return true;
}

Parser=parser

.PHONY:all
all:$(Parser)

$(Parser):parser.cpp
  $(cpp) -o $@ $^ -lboost_system -lboost_filesystem -std=c++11

.PHONY:clean
clean:
  rm -f $(Parser)