学习目标
- 能够说出什么是倒排索引
- 能够说出我们用的中文分词器是什么
- 能够说出IK分词器如何扩展词典
- 能够使用Java Client向索引增删改查文档
- 能够使用Java Client向索引批量导入文档
- 能够使用Java Client进行Term查询
- 能够使用Java Client进行全文检索
- 能够使用Java Client实现排序和分页
- 能够使用Java Client实现布尔查询
1 Elasticsearch快速入门
1.1. 认识Elasticsearch
1.1.1 搜索需求
黑马商城作为一个电商项目,商品的搜索肯定是访问频率最高的页面之一。目前搜索功能是基于数据库的模糊搜索来实现的,存在很多问题。
查询效率较低
由于数据库模糊查询不走索引,在数据量较大的时候,查询性能很差。
此时全表扫描,时间复杂度:O(n)
黑马商城的商品表中仅仅有不到9万条数据,基于数据库查询时,搜索接口的表现如图:
改为基于搜索引擎后,查询表现如下:
需要注意的是,数据库模糊查询随着表数据量的增多,查询性能的下降会非常明显,而搜索引擎的性能则不会随着数据增多而下降太多。目前仅10万不到的数据量差距就如此明显,如果数据量达到百万、千万、甚至上亿级别,这个性能差距会非常夸张。
功能单一
数据库的模糊搜索功能单一,匹配条件非常苛刻,必须恰好包含用户搜索的关键字。而在搜索引擎中,用户输入出现个别错字,或者用拼音搜索、同义词搜索都能正确匹配到数据。
综上,在面临海量数据的搜索,或者有一些复杂搜索需求的时候,推荐使用全文搜索技术来实现搜索功能。
AI:开源全文搜索引擎,按使用用户量降序排序
根据社区支持、知名度和普遍的应用情况,我们可以做出一个大致的估计。以下是几个较为知名的开源全文搜索引擎,按照它们的流行度和使用广泛程度进行排序:
- Elasticsearch
a. 概述:Elasticsearch 是一个分布式的、RESTful 接口的搜索引擎和分析引擎,基于 Lucene 构建。
b. 使用情况:被广泛用于日志分析、全文搜索、实时分析等领域,是 Elastic Stack 的核心组件之一。
c. 社区支持:拥有庞大的社区和丰富的文档,以及大量的第三方插件和工具。
d. 官网:https://www.elastic.co/elasticsearch - Apache Solr
a. 概述:Solr 是一个高性能的企业级搜索平台,同样基于 Lucene 构建。
b. 使用情况:广泛应用于电子商务、新闻媒体、社交网络等多个领域。
c. 社区支持:拥有成熟的社区和文档,支持多种语言和框架。
d. 官网:https://solr.apache.org/ - Apache Lucene
a. 概述:Lucene 是一个高性能的全文检索库,是许多搜索引擎的基础。
b. 使用情况:由于其高度可定制性,Lucene 被广泛应用于构建定制化的搜索解决方案。
c. 社区支持:拥有庞大的 Java 开发者社区,支持多种编程语言。
d. 官网:http://lucene.apache.org/ - MeiliSearch
a. 概述:MeiliSearch 是一个高度可配置、易于使用的搜索引擎。
b. 使用情况:适用于需要快速部署的项目,特别是在开发阶段。
c. 社区支持:拥有活跃的社区和良好的文档。
d. 官网:https://meilisearch.com/ - Zinc
a. 概述:Zinc 是一个轻量级的全文搜索引擎,用 Go 语言编写,旨在作为 ES 的轻量级替代方案。
b. 使用情况:适用于资源有限的环境,如嵌入式系统或小型项目。
c. 社区支持:相对较小的社区,但持续增长。
d. 官网:https://github.com/justwatchcom/zinc CloriSearch
a. 概述:CloriSearch 是一个轻量级的全文搜索引擎,用 Rust 语言编写。
b. 使用情况:适用于需要高性能和稳定性的项目。
c. 社区支持:社区正在成长中,但提供了一个简洁且强大的接口。
d. 官网:https://gitcode.net/shpilu/cloriSearch
排名第一的就是我们今天要学习的Elasticsearch.
Elasticsearch是一款非常强大的开源搜索引擎,支持的功能非常多,例如:代码搜索 商品搜索
解决方案搜索 地图搜索
1.1.2 倒排索引
Elasticsearch之所以有如此高性能的搜索表现,正是得益于底层的倒排索引技术。那么什么是倒排索引呢?
倒排索引的概念是基于正向索引而言的。
1.1.2.1 正向索引
我们先来回顾一下正向索引。例如有一张名为tb_goods的表:
id title price
1 小米手机 3499
2 华为手机 4999
3 华为小米充电器 49
4 小米手环 49
... ... ...
其中的id字段已经创建了索引,由于索引底层采用了B+树结构,因此我们根据id搜索的速度会非常快。但是其他字段例如title,只在叶子节点上存在。
因此要根据title搜索的时候只能遍历树中的每一个叶子节点,判断title数据是否符合要求。
比如用户的SQL语句为:
select * from tb_goods where title like '%手机%';
那搜索的大概流程如图:
说明:
● 1)检查到搜索条件为like '%手机%',需要找到title中包含手机的数据
● 2)逐条遍历每行数据(每个叶子节点),比如第1次拿到id为1的数据
● 3)判断数据中的title字段值是否符合条件
● 4)如果符合则放入结果集,不符合则丢弃
● 5)回到步骤1
综上,根据id精确匹配时,可以走索引,查询效率较高。而当搜索条件为模糊匹配时,由于索引无法生效,导致从索引查询退化为全表扫描,效率很差。
因此,正向索引适合于根据索引字段的精确搜索,不适合基于部分词条的模糊匹配。
而倒排索引恰好解决的就是根据部分词条模糊匹配的问题。
1.1.2.2 倒排索引
倒排索引中有两个非常重要的概念:
● 文档(Document):用来搜索的数据,其中的每一条数据就是一个文档。例如一个网页、一个商品信息
● 词条(Term):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条
创建倒排索引是对正向索引的一种特殊处理和应用,流程如下:
● 将每一个文档的数据利用分词算法根据语义拆分,得到一个个词条
● 倒排索引记录每个词条对应的文档id