带你读《Elastic Stack 实战手册》之84:——4.3.3.Elasticsearch 性能优化之内存和熔断浅析(中)

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 带你读《Elastic Stack 实战手册》之84:——4.3.3.Elasticsearch 性能优化之内存和熔断浅析(中)

《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.3.Elasticsearch 性能优化之内存和熔断浅析(上): https://developer.aliyun.com/article/1225188?spm=a2c6h.13148508.setting.18.438f4f0e18NXNE
4. 熔断器

本章主要对 Elasticsearch 的熔断器进行详细介绍,包括其核心思想、版本迭代以及具体的实 现方式等内容。


· 熔断器的核心思想

通过估算请求使用的内存是否会超过熔断器的限制而避免 OOM。跟踪每个 JAVA 对象的分 配申请过程不现实,所以熔断器只跟踪经常出问题的内存使用,不能保证 100% 生效。


· ES 熔断器的升级(7.x 版本进行了优化):

熔断器为父子结构,7.x 版本父熔断器相比旧版本更易触发。 -6:跟踪部分内存分配预估,父熔断器根据所有子熔断器计算结果觉定是否触发。 7-:根据系统实时状态决定是否拒绝请求,即实际内存熔断器,父熔断器通过调用 JVM 提 供的方法 MemoryUsage getUsage() 监控。


· 熔断器的状态监控:

通过 GET _nodes/stats/breaker API 可以对熔断器状态进行监控,结果如图 3:

image.png

图 3 熔断器状态监控

具体含义为:配置大小,当前大小,配置担保系数和触发次数。 可以通过收集日志,记录 Data too large 等关键字后判断熔断原因(根据 label) ,具体参 见下文源码分析。

·  业务适配熔断器:

业务方触发熔断后或收到错误响应,应保证客户端有退避机制和重试机制,例如使用 Rest High Client 的 onSuccess()/onFailure(),BulkProcess 的 afterbulk() 等回调函数处理。

4.1 熔断器种类介绍


定义及部分内容参考于 Elasticsearch 官方英文文档


Elasticsearch 具有多个熔断器用于防止各种请求操作造成 OOM ,每个熔断器限制了它可以使 用的内存。此外,Elasticsearch 还有一个父熔断器用于限制所有熔断器的内存总量。


熔断器大部分配置可以在运行中的集群上通过 cluster-update-settings API 动态更新。


父熔断器

父熔断器具有以下配置:

·   indices.breaker.total.use_real_memory:

静态配置,默认 true。设置父熔断器是通过 jvm 接口考虑真实内存使用量(true),还是考 虑所有子熔断器使用总量(false)。


·    indices.breaker.total.limit:

父熔断器启动限制。上一配置为 true,则默认为 JVM 的 95%;上一配置为 false,则默认 为 JVM 的 70%。


Field data 熔断器


此熔断器允许 Elasticsearch 估计一个字段加载到 fielddata cache 需要的内存量,如果加载 该字段会导致超过限制,熔断器将停止载入并返回 error。


·   indices.breaker.fielddata.limit:

内存限制,默认 JVM 的 40%。


·  Indices.breaker.fielddata.overhead:

估算因子,默认为 1.03。


Request 熔断器


请求断路器使 Elasticsearch 可以防止每个请求的数据结构(例如,用于在请求期间计算聚合 的内存)超过一定数量的内存。


 indices.breaker.request.limit:

内存限制,默认 JVM 的 60%。


 indices.breaker.request.overhead:

估算因子,默认为 1。


In flight requests 熔断器


进行中请求断路器使 ES 可以限制 transport 或 HTTP 级别上所有当前活动的即将传入请求 的内存使用,以免超出节点上的特定内存量。内存使用情况取决于请求本身的内容长度。该断 路器还认为,不仅需要内存来表示原始请求,而且还需要将其作为结构化对象,这由默认开销反映出来。


·   network.breaker.inflight_requests.limit:

内存限制,默认 JVM 的 100%。受父熔断器限制约束。


·   network.breaker.inflight_requests.overhead:

估算因子,默认为 2。


Accounting requests 熔断器


计费断路器允许限制请求完成后未释放的内存中所保存内容的内存使用量。这包括 Lucene 段 内存之类的东西,例如 Segment Memory。


·   indices.breaker.accounting.limit:

内存限制,默认 JVM 的 100%。受父断路器限制约束。


·   indices.breaker.accounting.overhead:

估算因子,默认为 1。


Script 编译熔断器

和上述熔断器不同,此熔断器限制一段时间内 Script 编译次数。


·   script.context.$CONTEXT.max_compilations_rate:

限制一段时间内允许编译的脚本数量。默认 75/5m。( Elasticsearch 第一次获取到 script 时会进行编译并缓存。Tips:使用params 参数化脚本而不是写死到脚本中)


Regex 熔断器

此断路器限制了 painless 脚本中的正则表达式的使用和复杂度。


·   script.painless.regex.enabled:

静态配置,接受以下参数:

limit(默认):启用正则但是通过下面的参数限制复杂度

true:启用正则不做限制,即禁用熔断器

false:禁用正则,带有正则的 plainless 脚本将报错


·   script.painless.regex.limit-factor:

静态配置,限制脚本中正则表达式可以考虑的字符数,Elasticsearch 通过设置值乘以脚本输 入的字符长度来计算此限制。


例如输入 foobarbaz 字符长度为 9,此参数设置为 6(默认),则基于 foobarbaz 的正则 表达式最多可以考虑 54 个字符。如果表达式超过此限制,则会触发此断路器并返回错误。 仅在第一个参数为 limit 时生效。


《Elastic Stack 实战手册》——四、应用实践——4.3 性能优化场景——4.3.3.Elasticsearch 性能优化之内存和熔断浅析(下): https://developer.aliyun.com/article/1225154?spm=a2c6h.13148508.setting.20.438f4f0e18NXNE

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
5月前
|
存储 缓存 编解码
阿里云服务器实例规格怎么选?经济型、通用算力型、计算型、通用型、内存型场景化选购指南
阿里云服务器的实例规格有经济型、通用型、计算型、内存型、通用算力型、大数据型、本地SSD型、高主频型、突发型、共享型等不同种类的实例规格,以满足不同用户和业务场景的需求。对于初次接触阿里云服务器的用户来说,如何选择合适的实例规格成为了一个重要的问题。本文将为大家解析阿里云的经济型、通用算力型、计算型、通用型和内存型实例规格的主要性能和适用场景情况,帮助用户根据实际需求选择合适的云服务器实例。
549 10
|
10月前
|
缓存 Prometheus 监控
Elasticsearch集群JVM调优设置合适的堆内存大小
Elasticsearch集群JVM调优设置合适的堆内存大小
1658 1
|
6月前
|
分布式计算 算法 Java
|
6月前
|
存储 大数据 BI
场景题:有40亿个QQ号如何去重?仅1GB内存
在处理大数据去重问题时,如40亿QQ号的去重(仅1GB内存),可采用Bitmap和布隆过滤器两种方法。Bitmap利用位图存储,每个QQ号占1位,总需512MB内存,适用于整型数据;布隆过滤器通过多个哈希函数计算下标,适合字符串或对象去重,但存在误判率。在线人员统计等场景也可使用类似思路,将ID作为偏移值标记在线状态或视频存在性。
198 4
|
10月前
|
存储 缓存 监控
Elasticsearch集群JVM调优堆外内存
Elasticsearch集群JVM调优堆外内存
180 1
|
10月前
|
Android开发 开发者
Android性能优化——内存管理的艺术
Android性能优化——内存管理的艺术
|
10月前
内存池适用于哪些场景
内存池适用于哪些场景
|
10月前
|
存储 缓存 监控
|
11月前
|
存储 算法 Java
Java虚拟机(JVM)的内存管理与性能优化
本文深入探讨了Java虚拟机(JVM)的内存管理机制,包括堆、栈、方法区等关键区域的功能与作用。通过分析垃圾回收算法和调优策略,旨在帮助开发者理解如何有效提升Java应用的性能。文章采用通俗易懂的语言,结合具体实例,使读者能够轻松掌握复杂的内存管理概念,并应用于实际开发中。
|
存储 监控 算法
Java内存管理:从垃圾收集到性能优化
【8月更文挑战第4天】在Java的世界中,内存管理是一块神秘的领域,它不仅关乎程序的稳定运行,更直接影响到系统的性能表现。本文将带你深入理解Java的垃圾收集机制,探讨如何通过合理的内存管理策略来提升应用效率。我们将一起分析JVM内存结构,探索不同的垃圾收集算法,并借助实际代码示例,学习如何监控和调优内存使用,以期达到减少延迟、防止内存泄漏的目的。

相关产品

  • 检索分析服务 Elasticsearch版