干货 | Elasticsearch 趋势科技实战分享笔记

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch 最少必要知识实战教程直播回放1、Elasticsearch 索引的设计1.1 单一索引还是基于时间的索引?

image.png

点此链接看原视频

image.png

单一索引的问题:

1)不能更新Mapping。

比如:主分片数不可以修改(除非reindex)。

2)无法灵活、快速地扩展。

3)更适合固定、小型数据集。


基于时间的索引面临的问题:

1)如何确定间隔?

数据量

变更频率

默认尝试每周为单位分割——建议

2)如何实施?

索引模板


1.2 定义索引注意事项

举例:


{

   "facet_internet_access_minute":{

       "template":"ce-index-access-v1-*",

       "order":0,

       "settings":{

           "number_of_shards":5

       },

       "aliases":{

           "{index}-query":{


           }

       },

       "mappings":{

           "es_doc":{

               "dynamic":"strict",

               "_all":{

                   "enabled":false

               },

               "_source":{

                   "enabled":false

               },

               "properties":{

                   "CLF_Timestamp":{

                       "type":"long"

                   },

                   "CLF_CustomerID":{

                       "type":"keyword"

                   },

                   "CLF_ClientIP":{

                       "type":"ip",

                       "ignore_malformed":true

                   }

               }

           }

       }

   }

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

注意1:不要在一个索引中定义多个type。

6.X版本已经不支持,7.X版本彻底不支持。

扩展问题:5.X版本的父子文档实际实现中是一个索引中定义了多个type,到了6.X中实现方式改变为:join方式。


注意2:将Set _source设置为false。

假设你只关心度量结果,不是原始文件内容。

将节省磁盘空间并减少IO。

这个点,需要结合实际的业务场景具体问题具体分析。

举例:


“_source”:{

“enabled”:false

},


注意3:将_all设置为false。

假设你确切地知道你对哪个field做查询操作?

能实现性能提升,缩减存储。

举例:


“_all”:{

“enabled”:false },


注意4:设置dynamic = strict。

假设你的数据是结构化数据。

字段设置严格,避免脏数据注入。

举例:


“dynamic”:“strict”,


注意5:使用keyword类型

假设你只关心完全匹配

提高性能和缩小磁盘存储空间

举例:


“CLF_CustomerID”:{

“type”:“keyword”

},


注意6:使用别名

如何在不停机的前提从一个索引切换到另一个索引?

image.png

举例:


“aliases”:{

“{index}-query”:{

}


或者你通过head插件创建。


2、Elasticsearch分片分配原则

社区和QQ群中经常被问到的问题:


1)应该分几个索引、几个分片?

2)每个分片大小如何设置?

3)副本多少如何设置?

这里,明确给出实操可行的6个步骤。

image.png

步骤1:定义索引。

思考索引中要大致有哪些字段?

最好能列一个Excel表统计一下,包含但不限于:

序号、名称、类型、作用、备注。

以上对计算单条数据大小也有用。


步骤2:评估数据量。

评估方法举例:

1分钟有100条数据,1天=1006024=144000条。

1月=144000条30天=432W条数据。

1年=432W12=5184W条数据。

假设要保存2年,共=10368W条数据。

假设每条数据20KB,共需要存储:10368W*20/1024/1024/1024=1.977TB。


步骤3:评估索引大小和磁盘空间。

步骤4:计算分片数。

细节考虑点:

1、每个分片大小应小于30GB。

2、分片数量= k *数据节点数目(k = 一个足够小的整数,举例:1,2,3)

3、假设你有一个小的索引,并且你有集群中有足够的节点,请尝试使用默认值分片数5。


步骤5:评估索引数和类型。

(此处可能会有多次反馈迭代)


3、数据去重的思考?

方法1:指定唯一id

缺点:

1、唯一值无法压缩,不利于存储。

2、存在高基数问题。


方法2:用聚合方法实现

步骤1:所有文档加一个Hash值;

步骤2:检查重复;


GET *_index/_search {

“size”:0,

“aggs”:{

“duplicate”:{

“terms”:{

“field”:“hash”,

“min_doc_count”:2,

“size”:5000

},

“aggs”:{

“documents”:{

“top_hits”:{

“size”:2

}

}

}

}

} }


步骤3:批量删除步骤2中的重复id。

以上步骤,不影响写入,可以实现异步。


缺点:

1、存储量大(尤其超过3亿条+);

2、随着数据量增加,聚合受影响,越来越慢。

3、存在高基数问题。


方法3:用distinct query实现

深入方法待进一步探讨。


4、小结

以上内容是Elasticsearch南京分享会20180630上的分享核心笔记。

具体PPT地址:https://elasticsearch.cn/slides/115

很受用的分析步骤和实战经验,实战中都可以用得上。

相关实践学习
利用Elasticsearch实现地理位置查询
本实验将分别介绍如何使用Elasticsearch7.10版本进行全文检索、多语言检索和地理位置查询三个Elasticsearch基础检索子场景的实现。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
8天前
|
存储 数据采集 数据处理
数据处理神器Elasticsearch_Pipeline:原理、配置与实战指南
数据处理神器Elasticsearch_Pipeline:原理、配置与实战指南
29 12
|
1月前
|
安全
【Elasticsearch6】安装笔记
【Elasticsearch6】安装笔记
20 2
|
19天前
|
缓存 数据处理 数据安全/隐私保护
Elasticsearch索引状态管理实战指南
Elasticsearch索引状态管理实战指南
18 0
|
20天前
|
存储 索引
Elasticsearch索引之嵌套类型:深度剖析与实战应用
Elasticsearch索引之嵌套类型:深度剖析与实战应用
|
1月前
|
存储 JSON 搜索推荐
Springboot2.x整合ElasticSearch7.x实战(三)
Springboot2.x整合ElasticSearch7.x实战(三)
20 0
|
1月前
|
存储 自然语言处理 关系型数据库
Springboot2.x整合ElasticSearch7.x实战(二)
Springboot2.x整合ElasticSearch7.x实战(二)
18 0
|
1月前
|
搜索推荐 数据可视化 Java
Springboot2.x整合ElasticSearch7.x实战(一)
Springboot2.x整合ElasticSearch7.x实战(一)
18 0
|
2月前
|
人工智能 自然语言处理 开发者
Langchain 与 Elasticsearch:创新数据检索的融合实战
Langchain 与 Elasticsearch:创新数据检索的融合实战
75 10
|
2月前
|
存储 缓存 监控
干货 | Elasticsearch 8.X 性能优化实战
干货 | Elasticsearch 8.X 性能优化实战
103 2
|
2月前
|
存储 机器学习/深度学习 API
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
213 0
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索