干货 | Elasticsearch 趋势科技实战分享笔记

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。

1、Elasticsearch 索引的设计

1.1 单一索引还是基于时间的索引?

image.png

单一索引的问题:

1)不能更新Mapping。
比如:主分片数不可以修改(除非reindex)。
2)无法灵活、快速地扩展。
3)更适合固定、小型数据集。

基于时间的索引面临的问题:

1)如何确定间隔?
数据量
变更频率
默认尝试每周为单位分割——建议

2)如何实施?
索引模板

1.2 定义索引注意事项

举例:

{
    "facet_internet_access_minute":{
        "template":"ce-index-access-v1-*",
        "order":0,
        "settings":{
            "number_of_shards":5
        },
        "aliases":{
            "{index}-query":{

            }
        },
        "mappings":{
            "es_doc":{
                "dynamic":"strict",
                "_all":{
                    "enabled":false
                },
                "_source":{
                    "enabled":false
                },
                "properties":{
                    "CLF_Timestamp":{
                        "type":"long"
                    },
                    "CLF_CustomerID":{
                        "type":"keyword"
                    },
                    "CLF_ClientIP":{
                        "type":"ip",
                        "ignore_malformed":true
                    }
                }
            }
        }
    }
}

注意1:不要在一个索引中定义多个type。

6.X版本已经不支持,7.X版本彻底不支持。
扩展问题:5.X版本的父子文档实际实现中是一个索引中定义了多个type,到了6.X中实现方式改变为:join方式。

注意2:将Set _source设置为false。

假设你只关心度量结果,不是原始文件内容。
将节省磁盘空间并减少IO。
这个点,需要结合实际的业务场景具体问题具体分析。
举例:

“_source”:{ 
“enabled”:false 
},

注意3:将_all设置为false。

假设你确切地知道你对哪个field做查询操作?
能实现性能提升,缩减存储。
举例:

“_all”:{ 
“enabled”:false },

注意4:设置dynamic = strict。

假设你的数据是结构化数据。
字段设置严格,避免脏数据注入。
举例:

“dynamic”:”strict”,

注意5:使用keyword类型

假设你只关心完全匹配
提高性能和缩小磁盘存储空间
举例:

“CLF_CustomerID”:{ 
“type”:”keyword” 
},

注意6:使用别名

如何在不停机的前提从一个索引切换到另一个索引?

image.png

举例:

“aliases”:{ 
“{index}-query”:{ 
}

或者你通过head插件创建。

2、Elasticsearch分片分配原则

社区和QQ群中经常被问到的问题:

1)应该分几个索引、几个分片?
2)每个分片大小如何设置?
3)副本多少如何设置?
这里,明确给出实操可行的6个步骤。

image.png

步骤1:定义索引。

思考索引中要大致有哪些字段?
最好能列一个Excel表统计一下,包含但不限于:
序号、名称、类型、作用、备注。
以上对计算单条数据大小也有用。

步骤2:评估数据量。

评估方法举例:
1分钟有100条数据,1天=1006024=144000条。
1月=144000条*30天=432W条数据。
1年=432W*12=5184W条数据。
假设要保存2年,共=10368W条数据。
假设每条数据20KB,共需要存储:10368W*20/1024/1024/1024=1.977TB。

步骤3:评估索引大小和磁盘空间。

步骤4:计算分片数。

细节考虑点:
1、每个分片大小应小于30GB。
2、分片数量= k *数据节点数目(k = 一个足够小的整数,举例:1,2,3)
3、假设你有一个小的索引,并且你有集群中有足够的节点,请尝试使用默认值分片数5。

步骤5:评估索引数和类型。

(此处可能会有多次反馈迭代)

3、数据去重的思考?

方法1:指定唯一id

缺点:
1、唯一值无法压缩,不利于存储。
2、存在高基数问题。

方法2:用聚合方法实现

步骤1:所有文档加一个Hash值;
步骤2:检查重复;

GET *_index/_search { 
“size”:0, 
“aggs”:{ 
“duplicate”:{ 
“terms”:{ 
“field”:”hash”, 
“min_doc_count”:2, 
“size”:5000 
}, 
“aggs”:{ 
“documents”:{ 
“top_hits”:{ 
“size”:2 
} 
} 
} 
} 
} }

步骤3:批量删除步骤2中的重复id。
以上步骤,不影响写入,可以实现异步。

缺点:
1、存储量大(尤其超过3亿条+);
2、随着数据量增加,聚合受影响,越来越慢。
3、存在高基数问题。

方法3:用distinct query实现

深入方法待进一步探讨。

4、小结

以上内容是Elasticsearch南京分享会20180630上的分享核心笔记。
具体PPT地址:https://elasticsearch.cn/slides/115
很受用的分析步骤和实战经验,实战中都可以用得上。


作者:铭毅天下

转载请标明出处,原文地址:

https://blog.csdn.net/laoyang360/article/details/80892392


相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
751 6
|
6月前
|
人工智能 自然语言处理 运维
让搜索引擎“更懂你”:AI × Elasticsearch MCP Server 开源实战
本文介绍基于Model Context Protocol (MCP)标准的Elasticsearch MCP Server,它为AI助手(如Claude、Cursor等)提供与Elasticsearch数据源交互的能力。文章涵盖MCP概念、Elasticsearch MCP Server的功能特性及实际应用场景,例如数据探索、开发辅助。通过自然语言处理,用户无需掌握复杂查询语法即可操作Elasticsearch,显著降低使用门槛并提升效率。项目开源地址:<https://github.com/awesimon/elasticsearch-mcp>,欢迎体验与反馈。
1614 1
|
存储 数据采集 数据处理
数据处理神器Elasticsearch_Pipeline:原理、配置与实战指南
数据处理神器Elasticsearch_Pipeline:原理、配置与实战指南
579 12
|
安全
【Elasticsearch6】安装笔记
【Elasticsearch6】安装笔记
99 2
|
人工智能 自然语言处理 开发者
Langchain 与 Elasticsearch:创新数据检索的融合实战
Langchain 与 Elasticsearch:创新数据检索的融合实战
|
存储 缓存 监控
干货 | Elasticsearch 8.X 性能优化实战
干货 | Elasticsearch 8.X 性能优化实战
|
存储 机器学习/深度学习 API
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
|
缓存 数据处理 数据安全/隐私保护
Elasticsearch索引状态管理实战指南
Elasticsearch索引状态管理实战指南
243 0
|
存储 索引
Elasticsearch索引之嵌套类型:深度剖析与实战应用
Elasticsearch索引之嵌套类型:深度剖析与实战应用
|
自然语言处理 Java 索引
SpringBoot 实现 elasticsearch 查询操作(RestHighLevelClient 的案例实战)
SpringBoot 实现 elasticsearch 查询操作(RestHighLevelClient 的案例实战)
720 1

热门文章

最新文章