学习目标

1. 能够说出什么是倒排索引
2. 能够说出我们用的中文分词器是什么
3. 能够说出IK分词器如何扩展词典
4. 能够使用Java Client向索引增删改查文档
5. 能够使用Java Client向索引批量导入文档
6. 能够使用Java Client进行Term查询
7. 能够使用Java Client进行全文检索
8. 能够使用Java Client实现排序和分页
9. 能够使用Java Client实现布尔查询

1 Elasticsearch快速入门

1.1. 认识Elasticsearch

1.1.1 搜索需求

黑马商城作为一个电商项目，商品的搜索肯定是访问频率最高的页面之一。目前搜索功能是基于数据库的模糊搜索来实现的，存在很多问题。

查询效率较低

由于数据库模糊查询不走索引，在数据量较大的时候，查询性能很差。

此时全表扫描，时间复杂度：O(n)

黑马商城的商品表中仅仅有不到9万条数据，基于数据库查询时，搜索接口的表现如图：

改为基于搜索引擎后，查询表现如下：

需要注意的是，数据库模糊查询随着表数据量的增多，查询性能的下降会非常明显，而搜索引擎的性能则不会随着数据增多而下降太多。目前仅10万不到的数据量差距就如此明显，如果数据量达到百万、千万、甚至上亿级别，这个性能差距会非常夸张。

功能单一

数据库的模糊搜索功能单一，匹配条件非常苛刻，必须恰好包含用户搜索的关键字。而在搜索引擎中，用户输入出现个别错字，或者用拼音搜索、同义词搜索都能正确匹配到数据。

综上，在面临海量数据的搜索，或者有一些复杂搜索需求的时候，推荐使用全文搜索技术来实现搜索功能。

AI:开源全文搜索引擎，按使用用户量降序排序

根据社区支持、知名度和普遍的应用情况，我们可以做出一个大致的估计。以下是几个较为知名的开源全文搜索引擎，按照它们的流行度和使用广泛程度进行排序：

1. Elasticsearch

1. 概述：Elasticsearch 是一个分布式的、RESTful 接口的搜索引擎和分析引擎，基于 Lucene 构建。
2. 使用情况：被广泛用于日志分析、全文搜索、实时分析等领域，是 Elastic Stack 的核心组件之一。
3. 社区支持：拥有庞大的社区和丰富的文档，以及大量的第三方插件和工具。
4. 官网：https://www.elastic.co/elasticsearch

2. Apache Solr

1. 概述：Solr 是一个高性能的企业级搜索平台，同样基于 Lucene 构建。
2. 使用情况：广泛应用于电子商务、新闻媒体、社交网络等多个领域。
3. 社区支持：拥有成熟的社区和文档，支持多种语言和框架。
4. 官网：https://solr.apache.org/

3. Apache Lucene

1. 概述：Lucene 是一个高性能的全文检索库，是许多搜索引擎的基础。
2. 使用情况：由于其高度可定制性，Lucene 被广泛应用于构建定制化的搜索解决方案。
3. 社区支持：拥有庞大的 Java 开发者社区，支持多种编程语言。
4. 官网：http://lucene.apache.org/

4. MeiliSearch

1. 概述：MeiliSearch 是一个高度可配置、易于使用的搜索引擎。
2. 使用情况：适用于需要快速部署的项目，特别是在开发阶段。
3. 社区支持：拥有活跃的社区和良好的文档。
4. 官网：https://meilisearch.com/

5. Zinc

1. 概述：Zinc 是一个轻量级的全文搜索引擎，用 Go 语言编写，旨在作为 ES 的轻量级替代方案。
2. 使用情况：适用于资源有限的环境，如嵌入式系统或小型项目。
3. 社区支持：相对较小的社区，但持续增长。
4. 官网：https://github.com/justwatchcom/zinc

6. CloriSearch

1. 概述：CloriSearch 是一个轻量级的全文搜索引擎，用 Rust 语言编写。
2. 使用情况：适用于需要高性能和稳定性的项目。
3. 社区支持：社区正在成长中，但提供了一个简洁且强大的接口。
4. 官网：https://gitcode.net/shpilu/cloriSearch

排名第一的就是我们今天要学习的Elasticsearch.

Elasticsearch是一款非常强大的开源搜索引擎，支持的功能非常多，例如：

此处为语雀图册卡片，点击链接查看：https://www.yuque.com/yzxb/index/xaadfrsn7hwdmky1#HH0No

代码搜索                                                   商品搜索

此处为语雀图册卡片，点击链接查看：https://www.yuque.com/yzxb/index/xaadfrsn7hwdmky1#E2xaD

解决方案搜索 地图搜索

1.1.2 倒排索引

Elasticsearch之所以有如此高性能的搜索表现，正是得益于底层的倒排索引技术。那么什么是倒排索引呢？

倒排索引的概念是基于正向索引而言的。

1.1.2.1 正向索引

我们先来回顾一下正向索引。例如有一张名为tb_goods的表：

其中的id字段已经创建了索引，由于索引底层采用了B+树结构，因此我们根据id搜索的速度会非常快。但是其他字段例如title，只在叶子节点上存在。

因此要根据title搜索的时候只能遍历树中的每一个叶子节点，判断title数据是否符合要求。

比如用户的SQL语句为：

select * from tb_goods where title like '%手机%';

那搜索的大概流程如图：

说明：

• 1）检查到搜索条件为like '%手机%'，需要找到title中包含手机的数据
• 2）逐条遍历每行数据（每个叶子节点），比如第1次拿到id为1的数据
• 3）判断数据中的title字段值是否符合条件
• 4）如果符合则放入结果集，不符合则丢弃
• 5）回到步骤1

综上，根据id精确匹配时，可以走索引，查询效率较高。而当搜索条件为模糊匹配时，由于索引无法生效，导致从索引查询退化为全表扫描，效率很差。

因此，正向索引适合于根据索引字段的精确搜索，不适合基于部分词条的模糊匹配。

而倒排索引恰好解决的就是根据部分词条模糊匹配的问题。

1.1.2.2 倒排索引

倒排索引中有两个非常重要的概念：

• 文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
• 词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理和应用，流程如下：

• 将每一个文档的数据利用分词算法根据语义拆分，得到一个个词条
• 倒排索引记录每个词条对应的文档id

此时形成的这张以词条为索引的表，就是倒排索引表，两者对比如下：

正向索引

倒排索引

倒排索引的搜索流程如下（以搜索"华为手机"为例），如图：

流程描述：

1）用户输入条件"华为手机"进行搜索。

2）对用户输入条件分词，得到词条：华为、手机。

3）拿着词条在倒排索引中查找（由于词条有索引，查询效率很高），即可得到包含词条的文档id：1、2、3。

4）拿着文档id到正向索引中查找具体文档即可（由于id也有索引，查询效率也很高）。

固定两步：根据词条得文档id集合、id精准查找，所以时间复杂度：O(1)，但不代表所有都是[可AI一下]

• 单次查询：时间复杂度为 O(log N)。
• 多词查询：时间复杂度为 O(M * log N + L)。
• 短语查询：时间复杂度为 O(M * log N + L * K)。
• 前缀查询：时间复杂度为 O(P + log N + L)。
• 模糊查询：时间复杂度为 O(F + log N + L)。

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

1.1.2.3 面试题

说下倒排索引？为什么叫倒排索引？

项目为什么要用Elasticsearch？数据很多吗？

1.2. 安装Elasticsearch

1.2.1 介绍Elasticsearch

Elasticsearch是由elastic公司开发的一套搜索引擎技术，Elasticsearch的官方网站：

它是elastic技术栈中的一部分，整套技术栈被称为ELK，经常用来做日志收集、系统监控和状态分析等等。

AI:ELK是干什么的

ELK 是指一套流行的技术栈，用于构建高级的日志收集、分析和展示系统。ELK 是三个组件首字母的缩写，它们分别是：

1. Elasticsearch：这是一个分布式的、RESTful接口的搜索和分析引擎。它能够存储大量的数据，并且提供近乎实时的搜索能力。在ELK栈中，Elasticsearch作为存储和搜索日志数据的核心。
2. Logstash：Logstash 是一个服务器端的工具，用于接收来自各种数据源的日志数据，它可以解析、转换这些数据，并将其发送到Elasticsearch中存储。Logstash支持多种插件，可以轻松地从不同的数据源收集数据。
3. Kibana：Kibana 是一个基于Web的用户界面，用于对存储在Elasticsearch中的数据进行可视化。它允许用户创建复杂的查询来分析数据，并以图表、表格等形式展示数据。

近年来，随着Elastic生态的发展，Beats（比如Filebeat）这类轻量级的日志收集器也被广泛采用，它们通常部署在多个服务器上，负责将日志数据发送给Logstash或者直接送入Elasticsearch。尽管Beats不是传统意义上的ELK栈的一部分，但是它们经常被一起提及，因为它们简化了日志数据的收集过程。

总的来说，ELK栈提供了一个全面的日志管理系统，它能够帮助组织捕获、存储、分析和展示大量的日志数据。这套系统常被用来监测应用程序性能、跟踪用户行为、进行网络安全分析等多种用途。

整套技术栈的核心就是用来存储、搜索、计算的Elasticsearch，因此我们接下来学习的核心也是Elasticsearch。

我们要安装的内容包含2部分：

• elasticsearch：存储、搜索和运算
• kibana：图形化展示控制台

1.2.2 安装Elasticsearch

我们当前使用的Spring Boot2.7.X版本默认使用的是Elasitcsearch7.17.x，本课程基于7.17.7版本学习。

通过下面的Docker命令即可安装单机版本的elasticsearch：

拉取镜像

docker pull elasticsearch:7.17.7

由于镜像较大也可将课程资料中“es安装”目录下的elasticsearch.7.17.7.tar上传到虚拟机，然后导入docker镜像，执行下边的命令：

docker load -i elasticsearch.7.17.7.tar

创建文件夹：

mkdir -p /data/soft/es7.17.7/xzb

在/data/soft/es7.17.7/xzb下创建data目录并且修改权限为777

mkdir data
chmod 777 data

将课程资料下的"ES安装"目录中的 es.zip上传到/data/soft/es7.17.7/xzb下，并进行解压

unzip es.zip

解压成功如下图：

创建容器

docker run -d \
--name elasticsearch7.17.7 \
--restart always \
-p 9200:9200 \
-p 9300:9300 \
-e "discovery.type=single-node" \
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
-v /data/soft/es7.17.7/xzb/data:/usr/share/elasticsearch/data \
-v /data/soft/es7.17.7/xzb/plugins:/usr/share/elasticsearch/plugins \
-v /data/soft/es7.17.7/xzb/config:/usr/share/elasticsearch/config \
elasticsearch:7.17.7

安装完成后，访问9200端口(http://192.168.101.68:9200/)，即可看到响应的Elasticsearch服务的基本信息：

{
  "name" : "4251f98ff357",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "aB_5c-y4St-NU-MFHxiVvg",
  "version" : {
    "number" : "7.17.7",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "78dcaaa8cee33438b91eca7f5c7f56a70fec9e80",
    "build_date" : "2022-10-17T15:29:54.167373105Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

1.2.3 安装Kibana

通过下面的Docker命令，即可部署Kibana：

拉取镜像

docker pull kibana:7.17.7

由于镜像较大也可将课程资料中“es安装”目录下的kibana.7.17.7.tar 上传到虚拟机，然后导入docker镜像，执行下边的命令：

docker load -i kibana.7.17.7.tar

创建容器：

注意修改es的地址

docker run --name kibana7.17.7 \
-e ELASTICSEARCH_HOSTS=http://192.168.101.68:9200 \
-p 5601:5601 \
-d kibana:7.17.7

下边启动容器，先保证Elasticsearch启动成功。

启动kibana容器成功，在浏览器输入地址访问：http://192.168.101.68:5601

1.2.4 小结

安装Elasticsearch和Kibana需要注意：Elasticsearch和Kibana的版本需要保持一致。

我们项目用的版本是7.17.7。

ELK是干什么的？包括哪些中间件？

ELK用于构建日志收集分析系统，包括：

• Elasticsearch：用于数据存储、计算和搜索
• Logstash/Beats：用于数据收集
• Kibana：用于数据可视化

通过Logstash将应用程序的日志采集到Elasticsearch中，通过Elasticsearch对日志进行分析，通过Kibana展示查询日志，展示分析的结果。

1.3.基础概念

elasticsearch中有很多独有的概念，与mysql中略有差别，但也有相似之处。

1.3.1 文档和字段

elasticsearch是面向文档（Document）存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

{
  "id": 1,
  "title": "小米手机",
  "price": 3499
}
{
  "id": 2,
  "title": "华为手机",
  "price": 4999
}
{
  "id": 3,
  "title": "华为小米充电器",
  "price": 49
}
{
  "id": 4,
  "title": "小米手环",
  "price": 299
}

因此，原本数据库中的一行数据就是ES中的一个JSON文档；而数据库中每行数据都包含很多列，这些列就转换为JSON文档中的字段（Field）。

1.3.2 索引和映射

随着业务发展，需要在es中存储的文档也会越来越多，比如有商品的文档、用户的文档、订单文档等等：

所有文档都散乱存放显然非常混乱，也不方便管理，因此，我们要将相同类型的文档集中在一起管理，称为索引（Index）。例如：

商品索引

{
  "id": 1,
  "title": "小米手机",
  "price": 3499
}
{
  "id": 2,
  "title": "华为手机",
  "price": 4999
}
{
  "id": 3,
  "title": "三星手机",
  "price": 3999
}

用户索引

{
  "id": 101,
  "name": "张三",
  "age": 21
}
{
  "id": 102,
  "name": "李四",
  "age": 24
}
{
  "id": 103,
  "name": "麻子",
  "age": 18
}

订单索引

{
  "id": 10,
  "userId": 101,
  "goodsId": 1,
  "totalFee": 294
}
{
  "id": 11,
  "userId": 102,
  "goodsId": 2,
  "totalFee": 328
}

• 所有用户文档，就可以组织在一起，称为用户的索引；
• 所有商品的文档，可以组织在一起，称为商品的索引；
• 所有订单的文档，可以组织在一起，称为订单的索引；

索引就类似数据库表，MySQL中我们会先创建表结构再向表中插入数据，同样，ES中的索引也有结构，那就是映射(mapping)，在 Elasticsearch 中，映射(mapping)定义了索引(index)中文档(document)的结构和字段(field)的数据类型及属性，映射类似于关系数据库中的表结构定义，它告诉 Elasticsearch 如何解析、存储和索引数据。

1.3.3 总结

我们对mysql与elasticsearch的概念做一下对比：

如图：

那是不是说，我们学习了elasticsearch就不再需要mysql了呢？

并不是如此，两者各自有自己的擅长之处：

• Mysql：擅长事务类型操作，可以确保数据的安全和一致性
• Elasticsearch：擅长海量数据的搜索、分析、计算 【没有写操作】

因此在企业中，往往是两者结合使用：

• 对安全性要求较高的写操作，使用mysql实现
• 对查询性能要求较高的搜索需求，使用elasticsearch实现
• 两者再基于某种方式，实现数据的同步，保证一致性

1.4. 快速入门

1.4.1 创建索引

根据前边对倒排索引的理解，倒排索引就是根据词找文档，词就是索引，所以要想完成搜索功能开发第一步就是要创建索引，有了索引就可以搜索了。打开Kibana，进入DevTools，如下图：

进入DevTools

AI: elasticsearch快速入门

执行下边的命令向ES添加文档，如果my_index索引不存在会自动创建：

POST /my_index/_doc/1
{
  "title": "Elasticsearch: cool and easy",
  "content": "This is a test document"
}

Elasticsearch提供RESTful接口供创建索引、修改索引、删除索引等操作。

请求路径：/my_index/_doc/1

请求内容：json结构

整体路径表示一个文档的地址。

my_index：表示索引名称，相当于MySQL的表名，如果没有会自动创建。

_doc：索引类型(type)， 在Elasticsearch 7.x 版本之前一个索引中的文档可以归属不同的类型，这样非常不好理解，从7.x 及之后 统一使用 _doc 作为索引的类型，也就是不存在类型这个概念了，固定写为_doc即可。

1: 是文档的唯一标识符(ID)。在 Elasticsearch 中，每个文档都有一个唯一的 ID，相当于MySQL中一个表的主键值。

Elasticsearch会对title、content两个字段的内容进行分词，每个词条关联1号文档。

"Elasticsearch: cool and easy" 分词为：Elasticsearch、cool、and、easy，默认分词器按空格分词。

"This is a test document" 分词为：this、is、a、test、document