ES
之前如何搜索？ 或许是SQL：like %xxx%，如果是大数据，就十分慢！然后搞索引，还是达不到要求
ElasticSearch：搜索！
ES概述
ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时地存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
ES可用于全文搜索、结构化搜索、分析以及将这三种混合使用
Kibana
Kibana是一个针对ES的开源分析及可视化平台，用来搜索、查看交互存储在ES索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示，Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示ES查询动态。
ES核心概念
1、索引
2、字段类型（mapping)
3、文档
4、分片（倒排索引）
集群、节点、索引、类型、文档、分片、映射是什么？
ES是面向文档的。一切都是JSON
关系型数据库和ES之间的对比对应关系：
| Relational DB | ES |
| 数据库(DB) | 索引（indices) |
| 表（table） | types（要被弃用了） |
| 行(rows) | documents |
| 字段（columns） | fields |
ES（集群）中可以包含多个索引（数据库），每个索引中可以包含多个类型（表），每个类型下又包含多个文档（行），每个文档中又包含多个字段（列）
物理设计
ES在后台把每个索引划分为多个切片，每个切片可以在集群中的不同服务器之间迁移
一个人也是一个集群，默认的集群名称就是elasticsearch
逻辑设计
一个索引类型中，包含多个文档，比如说文档1、文档2。当我们索引一篇文档时，可以通过这样的一个顺序找到它：索引——>类型——>文档ID，通过这个组合我们就能索引到某个具体的文档。注意：ID不必是整数，实际上它是个字符串。
文档
可以看成就是一条条数据
之前说ES是面向文档的，那么就意味着索引和搜索数据的最小单位是文档，ES中，文档有几个重要属性：
- 自我包含，一篇文档同时包含字段和对应的值，也就是同时包含key：value
- 可以是层次型的，一个文档中包含子文档，复杂的逻辑实体就是这么来的（就是一个JSON对象，可以用fastJson进行自动转换）
- 灵活的结构，文档不依赖预先定义的模式，我们知道关系型数据库中，要提前定义字段才能使用，在ES中，对于字段是非常灵活的，有时候，我们可以忽略该字段，或者动态地添加一个新的字段
尽管我们可以随意地新增或者忽略某个字段，但是，每个字段的类型非常重要，比如一个年龄字段类型，可以是字符串也可以是整型。因为ES会保存字段和类型之间的映射及其他的设置。这种映射具体到每个映射的每种类型，这也是为什么在ES中，类型有时也称为映射类型
类型
马上被弃用
类型是文档的逻辑容器，就像关系型数据库一样，表是行的容器。类型中对于字段的定义称为映射，比如name映射为字符串类型。我们之前说文档是无模式的，它们不需要拥有映射中所定义的所有字段，比如新增一个字段，那么ES是怎么做的呢？ES会自动地将新字段加入映射，但是这个字段不确定是什么类型，ES就开始猜，若这个值为18，则ES会认为它是整型。但ES也可能猜不对，所以最安全的方式就是提前定义好所需要的映射，这点跟关系型数据库殊途同归了，先定义好字段，然后再使用，别整什么幺蛾子
索引
可以看成就是数据库
索引是映射类型的容器，ES中的索引是一个非常大的文档集合。索引存储了映射类型的字段和其他设置。然后它们被存储到了各个分片上了。我们来研究下分片是如何工作的。
物理设计：节点和分片如何工作
一个集群至少有一个节点，而一个节点就是一个ES进程，节点可以有多个默认索引，如果你创建索引，那么索引将会由5个分片（primary shard，又称主分片）构成，每一个主分片会有一个副本（replica shard，又称复制分片）
上图是一个有3个节点的集群，可以看到主分片和对应的复制分片都不会在同一个节点内，这样有利于某个节点挂掉了，数据也不至于丢失。实际上，一个分片是一个Lucenc索引，一个包含倒排索引的文件目录，倒排索引的结构使得ES在不扫描全部文档的情况下，就能告诉你哪些文档包含特定的关键字
倒排索引
ES使用的是一种称为倒排索引的结构，采用Lucene倒排索引作为底层。这种结构适用于快速的全文搜索，一个索引由文档中所有不重复的列表构成，对于每一个词，都有一个包含它的文档列表。例如，现在有两个文档，每个文档包含如下内容：
Study every day, good good up to forever # 文档一包含的内容 To forever, study every day, good good up # 文档二包含的内容
为了创建倒排索引，我们首先要将每个文档拆分成独立的词（或成为词条或者tokens），然后创建一个包含所有不重复的词条的排序列表，然后列出每个词条出现在哪个文档：
| term | doc_1 | doc_2 |
| Study | √ | × |
| To | × | √ |
| every | √ | √ |
| forever | √ | √ |
| day | √ | √ |
| study | × | √ |
| good | √ | √ |
| every | √ | √ |
| to | √ | × |
| up | √ | √ |
现在，我们试图搜索to forever，只需要查看包含每个词条的文档
两个文档都匹配，但是第一个文档比第二个文档匹配程度更高。如果没有别的条件，现在，这两个包含关键字的文档都将返回
再来看一个示例，比如我们通过博客标签来搜索博客文章，那么倒排索引列表就是这样的一个结构：
若要搜索含有python标签的文章，那么相对于查找所有的原始数据而言，查找倒排索引后的数据将会快得多。只需要查看标签这一栏，然后获取相关的文章ID即可。完全过滤掉无关的所有数据，提高效率
ES的索引和Lucene的索引对比：
在ES中，索引这个词被频繁使用，这就是术语的使用。在ES中，索引被分为多个切片，每个切片是一个Lucene的索引（倒排索引）。所以一个ES索引是由多个Lucene索引组成的。谁让ES使用Lucene作为底层呢。如无特指，说起索引都是指ES的索引
IK分词器插件
什么是IK分词器？
分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词，比如“大沙坝”会被分为“大”，“沙”，“坝”，这显然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题
如果要使用中文，建议使用IK分词器
IK提供了两个分词算法：ik_smart和ik_max_word，其中ik_smart为最少切分，ik_max_word为最细粒度划分
Rest风格说明
ES的基本Rest命令：
| method | url地址 | 描述 |
| PUT | localhost:9200/索引名称/类型名称/文档id | 创建文档（指定文档id） |
| POST | localhost:9200/索引名称/类型名称 | 创建文档（随机文档id） |
| POST | localhost:9200/索引名称/类型名称/文档id/_update | 修改文档 |
| DELETE | localhost:9200/索引名称/类型名称/文档id | 删除文档 |
| GET | localhost:9200/索引名称/类型名称/文档id | 通过文档id查询文档 |
| POST | localhost:9200/索引名称/类型名称/_search | 查询所有数据 |
关于索引的基本操作
关于索引的基本操作
1、创建一个索引
PUT /索引名/类型名(即将淘汰)/文档id {请求体}
完成了自动增加了索引！数据也成功地添加了
2、上述例子中name字段用不用指定类型呢？有哪些类型
- 字符串类型
text、keyword - 数值类型
long,integer,short,byte,double,float,half,float,scaled,float - 日期类型
date - 布尔值类型
boolean - 二进制类型
binary - 等等
3、指定字段的类型
4、获得这个规则
可以通过GET请求获取具体的信息
5、查看默认的信息
如果自己的文档字段没有指定，那么es就会给我们默认配置字段类型！
扩展：通过命令elasticsearch索引情况！
通过get _cat/... 可以获得es当前的很多信息
6、修改索引
提交还是可以使用put，然后覆盖
现在的方法：
7、删除索引
通过DELETE命令实现删除，根据你的请求来判断是删除索引还是删除文档记录
使用RESTFUL风格是我们ES推荐大家使用的
关于文档的基本操作（重点）
基本操作
1、添加数据
PUT /tongjishabi/user/1 { "name": "tongjishabi", "age": 23, "desc": "同济就是个xx学校", "tags": ["垃圾","xx","坑人"] }
2、获取数据 GET
3、更新数据 PUT
4、Post _update，现在推荐使用这种更新方式！
简单的搜索
GET /tongjishabi/user/1
简单的条件查询，可以根据默认的映射规则，产生基本的查询！：
GET tongjishabi/user/_search?q=name:同济大学xx
复杂操作搜索 select （排序、分页，高亮，模糊查询，精确查询）
结果的过滤：
查询时要使用构造性查询方式，即json方式
我们之后使用java操作Es，所有的方法和对象就是这里面的key
排序：
分页查询：
这里的数据下标是从0开始的
在项目中从前端接收的url应该是/search/{current}/{pagesize}
布尔值查询
must （相当于mysql中的and），所有的条件都要符合
should （相当于Mysql中的or）
must_not （相当于MySql中的not）
过滤器filter
- gt
大于 - gte
大于等于 - lt
小于 - lte
小于等于
匹配多个条件
精确查询
term查询是直接通过倒排索引指定的词条进行精确的查找的
关于分词：
- term 直接查询精确的值
- match会使用分词器解析（先分析文档，然后再通过分析的文档进行查询）
两个类型 text keyword
text类型能被分词器解析，而keyword类型不被分词器解析
多个值匹配精确查询
高亮查询
总结：
- 匹配
- 按照条件匹配
- 精确匹配
- 区间范围匹配
- 匹配字段过滤
- 多条件查询
- 高亮查询
- 倒排索引
这些其实MySql也能做，只是MySql效率较低
