全文索引概述|学习笔记

简介: 快速学习全文索引概述。

开发者学堂课程【ElasticSearch 最新快速入门教程全文索引概述】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/642/detail/10647


全文索引概述

 

内容介绍:

一、全文索引基本概述

二、全文索引应用场所

三、全文检索与数据查询的区别

四、ES 介绍

 

一、全文索引基本概述

全文检索是计算机程序通过扫描文章中的每一个词,对必要的词建立一个索引,指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找,类似于通过字典的检索字表查字的过程。

全文检索(Full-TextRetrieval)是指以文本作为检索对象,找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。

关于全文检索,我们要知道:

1、只处理文本

2不处理语义

3搜索时英文不区分大小写

4结果列表有相关度排序

5并且可以对结果具有过滤高亮的功能

 

二、全文检索应用场景

我们使用 Lucene,主要是做站内搜索,即对一个系统内的资源进行搜索。

如 BBS、BLOG 中的文章搜索,网上商店中的商品搜索等。所以,学完 Lucene 后我们就可以为自已的项目增加全文检索的功能。

例如一些基于商城的全文检索系统:在项目中构建一个对于商品的全文检索功能,让买家先搜索索引库中的内容,得到商品的基本信息而且是按照某种规则排序的(例如热卖 点击率....感趣在通过连接,读取数据库的完成数据,这样既可以实现高效的查询效率,又可以为分流查询请求。

 

三、全文检索与数据查询的区别

1相关度排序:查出的结果没有相关度排序,不知道我想要的结果在哪一页。

我们在使用百度搜索时,一般不需要翻页,为什么?因为百度做了相关度排序:为每条结果打一个分数,这条结果越符合搜索条件,得分就越高,叫做相关度得分,结果列表会按照这个分数由高到低排列,所以第1页的结果就是我们最想要的结果

2查询的方式:全文检索的速度大大快于 SQL 的 like 搜索的速度。这是因为查询方式不同造成的,以查字典举例:数据库的 like 就是一页一页的翻,一行一行的找,而全文检索是先目录,得到结果所在的页码,再直接翻到这一页

3定位不一样:一个更侧重高效、安全的存储、一个是侧重准确、方便的搜索

 

四、ES 介绍

ES 是基于 Lucene 的开源搜索引擎,其查询语法关键字部分和 lucene 大致一样:

分页:from/size、字段:fields、排序:sort、查询:query

过滤:filter、高亮:highlight、统计:facet

Search Type

查询 query

中文分词

相关文章
|
Web App开发 关系型数据库 数据库
用PostgreSQL 做实时高效 搜索引擎 - 全文检索、模糊查询、正则查询、相似查询、ADHOC查询
用PostgreSQL 做实时高效 搜索引擎 - 全文检索、模糊查询、正则查询、相似查询、ADHOC查询作者digoal 日期2017-12-05 标签PostgreSQL , 搜索引擎 , GIN , ranking , high light , 全文检索 , 模糊查询 , 正则查询 , 相似查询 , ADHOC查询 背景字符串搜索是非常常见的业务需求,它包括: 1、前缀+模糊查询。
11664 1
|
6月前
|
运维 关系型数据库 分布式数据库
PolarDB产品使用问题之分区表如何实现全文索引
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
8月前
|
自然语言处理 关系型数据库 PostgreSQL
|
存储 JSON 自然语言处理
三.全文检索ElasticSearch经典入门-索引CRUD&分词器&文档映射&文档CRUD
三.全文检索ElasticSearch经典入门-索引CRUD&分词器&文档映射&文档CRUD
|
存储 自然语言处理 NoSQL
使用Redisearch实现的全文检索功能服务
“检索”是很多产品中无法绕开的一个功能模块,当数据量小的时候可以使用模糊查询等操作凑合一下,但是当面临海量数据和高并发的时候,业界常用 elasticsearch 和 lucene 等方案,但是elasticsearch对运行时内存有着最低限额,其运行时大小推荐 2G 以上的内存空间,并且需要额外的磁盘空间做持久化存储。
使用Redisearch实现的全文检索功能服务
|
NoSQL MongoDB 开发者
索引的使用 涵盖的查询 | 学习笔记
快速学习 索引的使用 涵盖的查询
索引的使用 涵盖的查询 | 学习笔记
|
存储 NoSQL 搜索推荐
索引的概述和类型 | 学习笔记
快速学习 索引的概述和类型
索引的概述和类型 | 学习笔记
|
JSON NoSQL MongoDB
数据查询简介|学习笔记
快速学习数据查询简介
数据查询简介|学习笔记
|
存储 机器学习/深度学习 缓存
FaissPQ索引简介
FaissPQ索引简介
271 0
FaissPQ索引简介
|
存储 SQL 自然语言处理
全文索引概述 | 学习笔记
快速学习全文索引概述

热门文章

最新文章