学习目标
- 能够说出什么是倒排索引
- 能够说出我们用的中文分词器是什么
- 能够说出IK分词器如何扩展词典
- 能够使用Java Client向索引增删改查文档
- 能够使用Java Client向索引批量导入文档
- 能够使用Java Client进行Term查询
- 能够使用Java Client进行全文检索
- 能够使用Java Client实现排序和分页
- 能够使用Java Client实现布尔查询
1 Elasticsearch快速入门
1.1. 认识Elasticsearch
1.1.1 搜索需求
黑马商城作为一个电商项目，商品的搜索肯定是访问频率最高的页面之一。目前搜索功能是基于数据库的模糊搜索来实现的，存在很多问题。
查询效率较低
由于数据库模糊查询不走索引，在数据量较大的时候，查询性能很差。
此时全表扫描，时间复杂度：O(n)
黑马商城的商品表中仅仅有不到9万条数据，基于数据库查询时，搜索接口的表现如图：
改为基于搜索引擎后，查询表现如下：
需要注意的是，数据库模糊查询随着表数据量的增多，查询性能的下降会非常明显，而搜索引擎的性能则不会随着数据增多而下降太多。目前仅10万不到的数据量差距就如此明显，如果数据量达到百万、千万、甚至上亿级别，这个性能差距会非常夸张。
功能单一
数据库的模糊搜索功能单一，匹配条件非常苛刻，必须恰好包含用户搜索的关键字。而在搜索引擎中，用户输入出现个别错字，或者用拼音搜索、同义词搜索都能正确匹配到数据。
综上，在面临海量数据的搜索，或者有一些复杂搜索需求的时候，推荐使用全文搜索技术来实现搜索功能。
AI:开源全文搜索引擎，按使用用户量降序排序
根据社区支持、知名度和普遍的应用情况，我们可以做出一个大致的估计。以下是几个较为知名的开源全文搜索引擎，按照它们的流行度和使用广泛程度进行排序：
- Elasticsearch
- 概述：Elasticsearch 是一个分布式的、RESTful 接口的搜索引擎和分析引擎，基于 Lucene 构建。
- 使用情况：被广泛用于日志分析、全文搜索、实时分析等领域，是 Elastic Stack 的核心组件之一。
- 社区支持：拥有庞大的社区和丰富的文档，以及大量的第三方插件和工具。
- 官网：https://www.elastic.co/elasticsearch
- Apache Solr
- 概述：Solr 是一个高性能的企业级搜索平台，同样基于 Lucene 构建。
- 使用情况：广泛应用于电子商务、新闻媒体、社交网络等多个领域。
- 社区支持：拥有成熟的社区和文档，支持多种语言和框架。
- 官网：https://solr.apache.org/
- Apache Lucene
- 概述：Lucene 是一个高性能的全文检索库，是许多搜索引擎的基础。
- 使用情况：由于其高度可定制性，Lucene 被广泛应用于构建定制化的搜索解决方案。
- 社区支持：拥有庞大的 Java 开发者社区，支持多种编程语言。
- 官网：http://lucene.apache.org/
- MeiliSearch
- 概述：MeiliSearch 是一个高度可配置、易于使用的搜索引擎。
- 使用情况：适用于需要快速部署的项目，特别是在开发阶段。
- 社区支持：拥有活跃的社区和良好的文档。
- 官网：https://meilisearch.com/
- Zinc
- 概述：Zinc 是一个轻量级的全文搜索引擎，用 Go 语言编写，旨在作为 ES 的轻量级替代方案。
- 使用情况：适用于资源有限的环境，如嵌入式系统或小型项目。
- 社区支持：相对较小的社区，但持续增长。
- 官网：https://github.com/justwatchcom/zinc
- CloriSearch
- 概述：CloriSearch 是一个轻量级的全文搜索引擎，用 Rust 语言编写。
- 使用情况：适用于需要高性能和稳定性的项目。
- 社区支持：社区正在成长中，但提供了一个简洁且强大的接口。
- 官网：https://gitcode.net/shpilu/cloriSearch
排名第一的就是我们今天要学习的Elasticsearch.
Elasticsearch是一款非常强大的开源搜索引擎，支持的功能非常多，例如：
此处为语雀图册卡片，点击链接查看：https://www.yuque.com/yzxb/index/xaadfrsn7hwdmky1#HH0No
代码搜索 商品搜索
此处为语雀图册卡片，点击链接查看：https://www.yuque.com/yzxb/index/xaadfrsn7hwdmky1#E2xaD
解决方案搜索 地图搜索
1.1.2 倒排索引
Elasticsearch之所以有如此高性能的搜索表现，正是得益于底层的倒排索引技术。那么什么是倒排索引呢？
倒排索引的概念是基于正向索引而言的。
1.1.2.1 正向索引
我们先来回顾一下正向索引。例如有一张名为tb_goods的表：
id |
title |
price |
1 |
小米手机 |
3499 |
2 |
华为手机 |
4999 |
3 |
华为小米充电器 |
49 |
4 |
小米手环 |
49 |
... |
... |
... |
其中的id字段已经创建了索引，由于索引底层采用了B+树结构，因此我们根据id搜索的速度会非常快。但是其他字段例如title，只在叶子节点上存在。
因此要根据title搜索的时候只能遍历树中的每一个叶子节点，判断title数据是否符合要求。
比如用户的SQL语句为：
select * from tb_goods where title like '%手机%';
那搜索的大概流程如图：
说明：
- 1）检查到搜索条件为
like '%手机%'，需要找到title中包含手机的数据 - 2）逐条遍历每行数据（每个叶子节点），比如第1次拿到
id为1的数据 - 3）判断数据中的
title字段值是否符合条件 - 4）如果符合则放入结果集，不符合则丢弃
- 5）回到步骤1
综上，根据id精确匹配时，可以走索引，查询效率较高。而当搜索条件为模糊匹配时，由于索引无法生效，导致从索引查询退化为全表扫描，效率很差。
因此，正向索引适合于根据索引字段的精确搜索，不适合基于部分词条的模糊匹配。
而倒排索引恰好解决的就是根据部分词条模糊匹配的问题。
1.1.2.2 倒排索引
倒排索引中有两个非常重要的概念：
- 文档（
Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息 - 词条（
Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条
创建倒排索引是对正向索引的一种特殊处理和应用，流程如下：
- 将每一个文档的数据利用分词算法根据语义拆分，得到一个个词条
- 倒排索引记录每个词条对应的文档id
此时形成的这张以词条为索引的表，就是倒排索引表，两者对比如下：
正向索引
id（索引） |
title |
price |
1 |
小米手机 |
3499 |
2 |
华为手机 |
4999 |
3 |
华为小米充电器 |
49 |
4 |
小米手环 |
49 |
... |
... |
... |
倒排索引
词条（索引） |
文档id |
小米 |
1，3，4 |
手机 |
1，2 |
华为 |
2，3 |
充电器 |
3 |
手环 |
4 |
倒排索引的搜索流程如下（以搜索"华为手机"为例），如图：
流程描述：
1）用户输入条件"华为手机"进行搜索。
2）对用户输入条件分词，得到词条：华为、手机。
3）拿着词条在倒排索引中查找（由于词条有索引，查询效率很高），即可得到包含词条的文档id：1、2、3。
4）拿着文档id到正向索引中查找具体文档即可（由于id也有索引，查询效率也很高）。
固定两步：根据词条得文档id集合、id精准查找，所以时间复杂度：O(1)，但不代表所有都是[可AI一下]
- 单次查询：时间复杂度为 O(log N)。
- 多词查询：时间复杂度为 O(M * log N + L)。
- 短语查询：时间复杂度为 O(M * log N + L * K)。
- 前缀查询：时间复杂度为 O(P + log N + L)。
- 模糊查询：时间复杂度为 O(F + log N + L)。
虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。
1.1.2.3 面试题
说下倒排索引？为什么叫倒排索引？
项目为什么要用Elasticsearch？数据很多吗？
