探究 | Elasticsearch CPU高排查思路

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 一、可能导致ES CPU高的原因:1、复杂的query查询举例:我这边出现过200个组合wildcard query导致集群down掉的情况;2、有大量的reindex操作3、ES版本较低

二、排查思路

2.1、业务场景排查

问自己几个问题?

- 1)集群中数据类型是怎么样的?

- 2)集群中有多少数据?

- 3)集群中有多少节点数、分片数?

- 4)当前集群索引和检索的速率如何?

- 5)当前在执行哪种类型的查询或者其他操作?


2、建议Htop观察,结合ElaticHQ 观察CPU曲线

3、CPU高的时候,建议看一下ES节点的日志,看看是不是有大量的GC。

4、查看hot_threads。

GET _nodes/hot_threads


::: {test}{ikKuXkFvRc-qFCqG99smGg}{VE-uqoiARoONJwomfPwRBw}{127.0.0.1}{127.0.0.1:9300}{ml.machine_memory=8481566720, ml.max_open_jobs=20, ml.enabled=true}

  Hot threads at 2018-04-09T15:58:21.117Z, interval=500ms, busiestThreads=3, ignoreIdleThreads=true:


   0.0% (0s out of 500ms) cpu usage by thread 'Attach Listener'

    unique snapshot

    unique snapshot

    unique snapshot

    unique snapshot

    unique snapshot

    unique snapshot

    unique snapshot

    unique snapshot

    unique snapshot

    unique snapshot

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

三、解决方案:

3.1、集群负载高,增加新节点以缓解负载。

3.2、增加堆内存到系统内存的1半,最大31GB(理论上线32GB).

如果机器内存不够,那就加大内存吧。

https://github.com/elastic/elasticsearch/issues/10437

https://discuss.elastic.co/t/es-high-cpu-usage-when-idle/87950/4


3.3、插入数据的时候,副本数设置为0.

分片数不可以修改,副本数是可以修改的。


注意:分片过多,会导致:堆内存压力大。


3.4、配置优化

Force all memory to be locked, forcing the JVM to never swap

bootstrap.mlockall: true

Threadpool Settings

Search pool

threadpool.search.type: fixed

threadpool.search.size: 20

threadpool.search.queue_size: 200

Bulk pool

threadpool.bulk.type: fixed

threadpool.bulk.size: 60

threadpool.bulk.queue_size: 3000

Index pool

threadpool.index.type: fixed

threadpool.index.size: 20

threadpool.index.queue_size: 1000

Indices settings

indices.memory.index_buffer_size: 30%

indices.memory.min_shard_index_buffer_size: 12mb

indices.memory.min_index_buffer_size: 96mb

Cache Sizes

indices.fielddata.cache.size: 30%

#indices.fielddata.cache.expire: 6h #will be depreciated & Dev recomend not to use it

indices.cache.filter.size: 30%

#indices.cache.filter.expire: 6h #will be depreciated & Dev recomend not to use it

Indexing Settings for Writes

index.refresh_interval: 30s

#index.translog.flush_threshold_ops: 50000

#index.translog.flush_threshold_size: 1024mb

index.translog.flush_threshold_period: 5m

index.merge.scheduler.max_thread_count: 1

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

参考:https://github.com/elastic/elasticsearch/issues/4288

相关实践学习
利用Elasticsearch实现地理位置查询
本实验将分别介绍如何使用Elasticsearch7.10版本进行全文检索、多语言检索和地理位置查询三个Elasticsearch基础检索子场景的实现。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
监控 Java 索引
cpu使用率过高和jvm old占用过高排查过程
cpu使用率过高和jvm old占用过高排查过程
80 2
|
10月前
|
安全 Windows
一次简单的服务器 cpu 占用率高的快速排查实战
一次简单的服务器 cpu 占用率高的快速排查实战
|
11月前
|
运维 监控 Java
内存溢出+CPU占用过高:问题排查+解决方案+复盘(超详细分析教程)
全网最全的内存溢出CPU占用过高排查文章,包含:问题出现现象+临时解决方案+复现问题+定位问题发生原因+优化代码+优化后进行压测,上线+复盘
1805 5
|
8月前
|
Arthas 测试技术
Arthas排查生产环境CPU飚高问题
Arthas排查生产环境CPU飚高问题
130 0
Arthas排查生产环境CPU飚高问题
|
14天前
|
Arthas Java 数据库连接
「性能指标」CPU飙高排查实战
在新应用接入高流量业务后,CPU利用率在压力测试中飙升。通过`top`命令发现Java进程占用CPU高。使用Arthas工具定位到JDBC的TCP套接字读取导致阻塞,问题源于频繁的数据库交互。代码优化后,初始化Sequence实例减少数据库交互,CPU使用下降。后续发现预发布环境的日志采集工具开启导致额外CPU消耗,关闭该功能后问题完全解决。排查CPU问题需耐心和系统性分析。
「性能指标」CPU飙高排查实战
|
11天前
|
缓存 弹性计算 监控
云服务器 CPU 使用率高的问题排查与优化
云服务器 CPU 使用率高的问题排查与优化
26 0
|
1月前
|
SQL Java Linux
Linux系统cpu飙升到100%排查方案
Linux系统cpu飙升到100%排查方案
20 0
|
2月前
|
存储 监控 安全
最近几个典型 Elasticsearch 线上易出错难排查问题汇集,咱们得避免!
最近几个典型 Elasticsearch 线上易出错难排查问题汇集,咱们得避免!
39 3
|
2月前
|
Kubernetes Java 索引
Elasticsearch 源码探究 001——故障探测和恢复机制
Elasticsearch 源码探究 001——故障探测和恢复机制
27 0
|
2月前
|
SQL 运维 NoSQL
【Redis 故障排查】「连接失败问题排查和解决」带你总体分析CPU及内存的使用率高问题排查指南及方案
【Redis 故障排查】「连接失败问题排查和解决」带你总体分析CPU及内存的使用率高问题排查指南及方案
92 0