倒排表讲解

简介: 倒排表讲解

前言


在问答系统中,我们应该根据用户提出的问题,然后在知识库里找相关的问题以及返回概率最高的答案,我们遇到的问题是假设知识库里有n个问题,那么我们每次需要做n次的相似度计算,这样的话对计算机的负担是极大的,那么如何降低复杂度呢?核心思路是根据倒排表做一个层次过滤,过滤掉不相关的问题以及答案。


一、倒排表


1-1、基本概念


文档:比如Word、PDF、Excell等不同格式的文件都可以称之为文档。

文档集合:由若干文档构成的集合称之为文档集合。

文档编号:每个文档都会被赋予一个唯一的编号当作标识。

单词编号:与文档编号类似,作为单词的唯一表征。

倒排索引:实现“单词-文档矩阵”的一种具体存储形式,通过倒排索引,可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成:单词词典和倒排文件。

单词词典:文档集合中出现的所有单词构成的字符串集合,单词词典内每条索引项记载单词本身的一些信息以及指向“倒排列表”的指针。

倒排列表:记载了出现过某个单词的所有文档的文档列表以及单词在该文档中出现的位置信息,每条记录成为一个倒排项。根据倒排列表,即可以获知哪些文档包含某个单词。

倒排文件(Inverted File):所有单词的倒排列表往往顺序地存储在磁盘的某个文件里,这个文件即被称之为倒排文件,倒排文件是存储倒排索引的物理文件。


1-2、简单应用


假设包含三个文档,对这三个文档建立倒排索引。

5ae25d98c0fe4d5c8555f31e698b6a33.png

先对中文进行分词,然后再赋予每个单词唯一的编号,在倒排列表中记录下了哪些文档包含这个单词。除了记录哪些文档包含这个单词,还可以记录词频等信息。

de4640a3286f4397bfa21d377c84ef8f.png


参考文章:


一文了解倒排表.

NLP——倒排表.


总结


不知不觉就到12月了,今年可过的真快。

相关文章
|
网络协议 Linux 开发工具
开发指南 | OpenWrt免费内嵌花生壳PHTunnel实现内网穿透
本文将详解如何把花生壳PHTunnel封装成一个OpenWrt标准组件,并编译到自己的OpenWrt固件中,实现内网穿透功能。
开发指南 | OpenWrt免费内嵌花生壳PHTunnel实现内网穿透
|
机器学习/深度学习 JSON 前端开发
RESTful API接口设计规范
近年来移动互联网的发展,前端设备层出不穷(手机、平板、桌面电脑、其他专用设备…),因此,必须有一种统一的机制,方便不同的前端设备与后端进行通信,于是RESTful诞生了,它可以通过一套统一的接口为 Web,iOS和Android提供服务。
4168 1
RESTful API接口设计规范
|
存储
【数据结构】连通图、连通分量与强连通图、强连通分量—区别在于强,强强在哪里?
【数据结构】连通图、连通分量与强连通图、强连通分量—区别在于强,强强在哪里?
10390 1
【数据结构】连通图、连通分量与强连通图、强连通分量—区别在于强,强强在哪里?
|
21天前
|
人工智能 Java API
Apache Flink Agents 0.2.0 发布公告
Apache Flink Agents 0.2.0发布!该预览版统一流处理与AI智能体,支持Java/Python双API、Exactly-Once一致性、多级记忆(感官/短期/长期)、持久化执行及跨语言资源调用,兼容Flink 1.20–2.2,助力构建高可靠、低延迟的事件驱动AI应用。
404 9
Apache Flink Agents 0.2.0 发布公告
|
1月前
|
运维 Ubuntu 应用服务中间件
Nginx日志文件归档(手把手教你自动压缩和轮转日志)
本文介绍如何使用Linux自带的logrotate工具实现Nginx访问日志与错误日志的自动轮转、压缩与归档。通过简单配置,可避免日志文件过大占用磁盘空间,提升系统稳定性。涵盖配置步骤、参数详解、测试方法及常见问题解决方案,适合运维新手快速上手,保障服务器长期稳定运行。
|
7月前
|
消息中间件 JSON 监控
痛点:数据量太大怎么办?用API分页查询+增量解决
在处理大数据量API同步时,采用分页查询与增量更新策略可有效避免性能瓶颈与服务限流,提升同步效率与稳定性。本文详解四种分页方式(页码、游标、时间戳、ID分页)与三种增量机制(时间戳、版本号、日志订阅),并提供组合策略与优化技巧,助你高效完成数据同步。
|
存储 分布式计算 并行计算
【大数据】计算引擎:Spark核心概念
【大数据】计算引擎:Spark核心概念
897 0
|
缓存 Linux Docker
【最新版正确姿势】Docker安装教程(简单几步即可完成)
之前的老版本Docker安装教程已经发生了变化,本文分享了Docker最新版安装教程,其他操作系统版本也可以参考官 方的其他安装版本文档。
11889 3
【最新版正确姿势】Docker安装教程(简单几步即可完成)
|
机器学习/深度学习 人工智能 分布式计算
机器学习平台PAI
【7月更文挑战第1天】机器学习平台PAI
611 0

热门文章

最新文章