ES分布式搜索引擎入门

学习目标

1. 能够说出什么是倒排索引
2. 能够说出我们用的中文分词器是什么
3. 能够说出IK分词器如何扩展词典
4. 能够使用Java Client向索引增删改查文档
5. 能够使用Java Client向索引批量导入文档
6. 能够使用Java Client进行Term查询
7. 能够使用Java Client进行全文检索
8. 能够使用Java Client实现排序和分页
9. 能够使用Java Client实现布尔查询
   1 Elasticsearch快速入门
   1.1. 认识Elasticsearch
   1.1.1 搜索需求
   黑马商城作为一个电商项目，商品的搜索肯定是访问频率最高的页面之一。目前搜索功能是基于数据库的模糊搜索来实现的，存在很多问题。
   查询效率较低
   由于数据库模糊查询不走索引，在数据量较大的时候，查询性能很差。
   此时全表扫描，时间复杂度：O(n)
   黑马商城的商品表中仅仅有不到9万条数据，基于数据库查询时，搜索接口的表现如图：

改为基于搜索引擎后，查询表现如下：

需要注意的是，数据库模糊查询随着表数据量的增多，查询性能的下降会非常明显，而搜索引擎的性能则不会随着数据增多而下降太多。目前仅10万不到的数据量差距就如此明显，如果数据量达到百万、千万、甚至上亿级别，这个性能差距会非常夸张。
功能单一
数据库的模糊搜索功能单一，匹配条件非常苛刻，必须恰好包含用户搜索的关键字。而在搜索引擎中，用户输入出现个别错字，或者用拼音搜索、同义词搜索都能正确匹配到数据。
综上，在面临海量数据的搜索，或者有一些复杂搜索需求的时候，推荐使用全文搜索技术来实现搜索功能。
AI:开源全文搜索引擎，按使用用户量降序排序
根据社区支持、知名度和普遍的应用情况，我们可以做出一个大致的估计。以下是几个较为知名的开源全文搜索引擎，按照它们的流行度和使用广泛程度进行排序：

1. Elasticsearch
   a. 概述：Elasticsearch 是一个分布式的、RESTful 接口的搜索引擎和分析引擎，基于 Lucene 构建。
   b. 使用情况：被广泛用于日志分析、全文搜索、实时分析等领域，是 Elastic Stack 的核心组件之一。
   c. 社区支持：拥有庞大的社区和丰富的文档，以及大量的第三方插件和工具。
   d. 官网：https://www.elastic.co/elasticsearch
2. Apache Solr
   a. 概述：Solr 是一个高性能的企业级搜索平台，同样基于 Lucene 构建。
   b. 使用情况：广泛应用于电子商务、新闻媒体、社交网络等多个领域。
   c. 社区支持：拥有成熟的社区和文档，支持多种语言和框架。
   d. 官网：https://solr.apache.org/
3. Apache Lucene
   a. 概述：Lucene 是一个高性能的全文检索库，是许多搜索引擎的基础。
   b. 使用情况：由于其高度可定制性，Lucene 被广泛应用于构建定制化的搜索解决方案。
   c. 社区支持：拥有庞大的 Java 开发者社区，支持多种编程语言。
   d. 官网：http://lucene.apache.org/
4. MeiliSearch
   a. 概述：MeiliSearch 是一个高度可配置、易于使用的搜索引擎。
   b. 使用情况：适用于需要快速部署的项目，特别是在开发阶段。
   c. 社区支持：拥有活跃的社区和良好的文档。
   d. 官网：https://meilisearch.com/
5. Zinc
   a. 概述：Zinc 是一个轻量级的全文搜索引擎，用 Go 语言编写，旨在作为 ES 的轻量级替代方案。
   b. 使用情况：适用于资源有限的环境，如嵌入式系统或小型项目。
   c. 社区支持：相对较小的社区，但持续增长。
   d. 官网：https://github.com/justwatchcom/zinc

6. CloriSearch
   a. 概述：CloriSearch 是一个轻量级的全文搜索引擎，用 Rust 语言编写。
   b. 使用情况：适用于需要高性能和稳定性的项目。
   c. 社区支持：社区正在成长中，但提供了一个简洁且强大的接口。
   d. 官网：https://gitcode.net/shpilu/cloriSearch
   排名第一的就是我们今天要学习的Elasticsearch.
   Elasticsearch是一款非常强大的开源搜索引擎，支持的功能非常多，例如：

                 代码搜索                                                       商品搜索
   

解决方案搜索 地图搜索
1.1.2 倒排索引
Elasticsearch之所以有如此高性能的搜索表现，正是得益于底层的倒排索引技术。那么什么是倒排索引呢？
倒排索引的概念是基于正向索引而言的。
1.1.2.1 正向索引
我们先来回顾一下正向索引。例如有一张名为tb_goods的表：
id title price
1 小米手机 3499
2 华为手机 4999
3 华为小米充电器 49
4 小米手环 49
... ... ...
其中的id字段已经创建了索引，由于索引底层采用了B+树结构，因此我们根据id搜索的速度会非常快。但是其他字段例如title，只在叶子节点上存在。

因此要根据title搜索的时候只能遍历树中的每一个叶子节点，判断title数据是否符合要求。
比如用户的SQL语句为：
select * from tb_goods where title like '%手机%';
那搜索的大概流程如图：

说明：
● 1）检查到搜索条件为like '%手机%'，需要找到title中包含手机的数据
● 2）逐条遍历每行数据（每个叶子节点），比如第1次拿到id为1的数据
● 3）判断数据中的title字段值是否符合条件
● 4）如果符合则放入结果集，不符合则丢弃
● 5）回到步骤1
综上，根据id精确匹配时，可以走索引，查询效率较高。而当搜索条件为模糊匹配时，由于索引无法生效，导致从索引查询退化为全表扫描，效率很差。
因此，正向索引适合于根据索引字段的精确搜索，不适合基于部分词条的模糊匹配。
而倒排索引恰好解决的就是根据部分词条模糊匹配的问题。
1.1.2.2 倒排索引
倒排索引中有两个非常重要的概念：
● 文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
● 词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条
创建倒排索引是对正向索引的一种特殊处理和应用，流程如下：
● 将每一个文档的数据利用分词算法根据语义拆分，得到一个个词条
● 倒排索引记录每个词条对应的文档id
此时形成的这张以词条为索引的表，就是倒排索引表，两者对比如下：
正向索引
id（索引） title price
1 小米手机 3499
2 华为手机 4999
3 华为小米充电器 49
4 小米手环 49
... ... ...
倒排索引
词条（索引） 文档id
小米 1，3，4
手机 1，2
华为 2，3
充电器 3
手环 4
倒排索引的搜索流程如下（以搜索"华为手机"为例），如图：

流程描述：
1）用户输入条件"华为手机"进行搜索。
2）对用户输入条件分词，得到词条：华为、手机。
3）拿着词条在倒排索引中查找（由于词条有索引，查询效率很高），即可得到包含词条的文档id：1、2、3。
4）拿着文档id到正向索引中查找具体文档即可（由于id也有索引，查询效率也很高）。
固定两步：根据词条得文档id集合、id精准查找，所以时间复杂度：O(1)，但不代表所有都是[可AI一下]
● 单次查询：时间复杂度为 O(log N)。
● 多词查询：时间复杂度为 O(M log N + L)。
● 短语查询：时间复杂度为 O(M log N + L * K)。
● 前缀查询：时间复杂度为 O(P + log N + L)。
● 模糊查询：时间复杂度为 O(F + log N + L)。
虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。
1.1.2.3 面试题
说下倒排索引？为什么叫倒排索引？
项目为什么要用Elasticsearch？数据很多吗？
1.2. 安装Elasticsearch
1.2.1 介绍Elasticsearch
Elasticsearch是由elastic公司开发的一套搜索引擎技术，Elasticsearch的官方网站：

它是elastic技术栈中的一部分，整套技术栈被称为ELK，经常用来做日志收集、系统监控和状态分析等等。
AI:ELK是干什么的
ELK 是指一套流行的技术栈，用于构建高级的日志收集、分析和展示系统。ELK 是三个组件首字母的缩写，它们分别是：

1. Elasticsearch：这是一个分布式的、RESTful接口的搜索和分析引擎。它能够存储大量的数据，并且提供近乎实时的搜索能力。在ELK栈中，Elasticsearch作为存储和搜索日志数据的核心。
2. Logstash：Logstash 是一个服务器端的工具，用于接收来自各种数据源的日志数据，它可以解析、转换这些数据，并将其发送到Elasticsearch中存储。Logstash支持多种插件，可以轻松地从不同的数据源收集数据。
3. Kibana：Kibana 是一个基于Web的用户界面，用于对存储在Elasticsearch中的数据进行可视化。它允许用户创建复杂的查询来分析数据，并以图表、表格等形式展示数据。
   近年来，随着Elastic生态的发展，Beats（比如Filebeat）这类轻量级的日志收集器也被广泛采用，它们通常部署在多个服务器上，负责将日志数据发送给Logstash或者直接送入Elasticsearch。尽管Beats不是传统意义上的ELK栈的一部分，但是它们经常被一起提及，因为它们简化了日志数据的收集过程。
   总的来说，ELK栈提供了一个全面的日志管理系统，它能够帮助组织捕获、存储、分析和展示大量的日志数据。这套系统常被用来监测应用程序性能、跟踪用户行为、进行网络安全分析等多种用途。

整套技术栈的核心就是用来存储、搜索、计算的Elasticsearch，因此我们接下来学习的核心也是Elasticsearch。
我们要安装的内容包含2部分：
● elasticsearch：存储、搜索和运算
● kibana：图形化展示控制台
1.2.2 安装Elasticsearch
我们当前使用的Spring Boot2.7.X版本默认使用的是Elasitcsearch7.17.x，本课程基于7.17.7版本学习。
通过下面的Docker命令即可安装单机版本的elasticsearch：
拉取镜像
docker pull elasticsearch:7.17.7
由于镜像较大也可将课程资料中“es安装”目录下的elasticsearch.7.17.7.tar上传到虚拟机，然后导入docker镜像，执行下边的命令：
docker load -i elasticsearch.7.17.7.tar
创建文件夹：
mkdir -p /data/soft/es7.17.7/xzb
在/data/soft/es7.17.7/xzb下创建data目录并且修改权限为777
mkdir data
chmod 777 data
将课程资料下的"ES安装"目录中的 es.zip上传到/data/soft/es7.17.7/xzb下，并进行解压
unzip es.zip
解压成功如下图：

创建容器
docker run -d \
--name elasticsearch7.17.7 \
--restart always \
-p 9200:9200 \
-p 9300:9300 \
-e "discovery.type=single-node" \
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
-v /data/soft/es7.17.7/xzb/data:/usr/share/elasticsearch/data \
-v /data/soft/es7.17.7/xzb/plugins:/usr/share/elasticsearch/plugins \
-v /data/soft/es7.17.7/xzb/config:/usr/share/elasticsearch/config \
elasticsearch:7.17.7
安装完成后，访问9200端口(http://192.168.101.68:9200/)，即可看到响应的Elasticsearch服务的基本信息：
{
"name" : "4251f98ff357",
"cluster_name" : "docker-cluster",
"cluster_uuid" : "aB_5c-y4St-NU-MFHxiVvg",
"version" : {
"number" : "7.17.7",
"build_flavor" : "default",
"build_type" : "docker",
"build_hash" : "78dcaaa8cee33438b91eca7f5c7f56a70fec9e80",
"build_date" : "2022-10-17T15:29:54.167373105Z",
"build_snapshot" : false,
"lucene_version" : "8.11.1",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
1.2.3 安装Kibana
通过下面的Docker命令，即可部署Kibana：
拉取镜像
docker pull kibana:7.17.7
由于镜像较大也可将课程资料中“es安装”目录下的kibana.7.17.7.tar 上传到虚拟机，然后导入docker镜像，执行下边的命令：
docker load -i kibana.7.17.7.tar
创建容器：
注意修改es的地址
docker run --name kibana7.17.7 \
-e ELASTICSEARCH_HOSTS=http://192.168.101.68:9200 \
-p 5601:5601 \
-d kibana:7.17.7
下边启动容器，先保证Elasticsearch启动成功。
启动kibana容器成功，在浏览器输入地址访问：http://192.168.101.68:5601

1.2.4 小结
安装Elasticsearch和Kibana需要注意：Elasticsearch和Kibana的版本需要保持一致。
我们项目用的版本是7.17.7。
ELK是干什么的？包括哪些中间件？
ELK用于构建日志收集分析系统，包括：
● Elasticsearch：用于数据存储、计算和搜索
● Logstash/Beats：用于数据收集
● Kibana：用于数据可视化
通过Logstash将应用程序的日志采集到Elasticsearch中，通过Elasticsearch对日志进行分析，通过Kibana展示查询日志，展示分析的结果。