ES线程池设置

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

每个Elasticsearch节点内部都维护着多个线程池,如index、search、get、bulk等,用户可以修改线程池的类型和大小,线程池默认大小跟CPU逻辑一致

 

一、查看当前线程组状态

curl -XGET 'http://localhost:9200/_nodes/stats?pretty'

 

"thread_pool" : {
    "bulk" : {
      "threads" : 32,
      "queue" : 0,
      "active" : 0,
      "rejected" : 0,
      "largest" : 32,
      "completed" : 659997
    },
"index" : {
      "threads" : 2,
      "queue" : 0,
      "active" : 0,
      "rejected" : 0,
      "largest" : 2,
      "completed" : 2
    }

 

上面截取了部分线程池的配置,其中,最需要关注的是rejected。当某个线程池active==threads时,表示所有线程都在忙,那么后续新的请求就会进入queue中,即queue>0,一旦queue大小超出限制,如bulk的queue默认50,那么elasticsearch进程将拒绝请求(碰到bulk HTTP状态码429),相应的拒绝次数就会累加到rejected中。

解决方法是

1、记录失败的请求并重发

2、减少并发写的进程个数,同时加大每次bulk请求的size

 

二、核心线程池

index:此线程池用于索引和删除操作。它的类型默认为fixed,size默认为可用处理器的数量,队列的size默认为300。
search:此线程池用于搜索和计数请求。它的类型默认为fixed,size默认为可用处理器的数量乘以3,队列的size默认为1000。
suggest:此线程池用于建议器请求。它的类型默认为fixed,size默认为可用处理器的数量,队列的size默认为1000。
get:此线程池用于实时的GET请求。它的类型默认为fixed,size默认为可用处理器的数量,队列的size默认为1000。
bulk:此线程池用于批量操作。它的类型默认为fixed,size默认为可用处理器的数量,队列的size默认为50。
percolate:此线程池用于预匹配器操作。它的类型默认为fixed,size默认为可用处理器的数量,队列的size默认为1000。

 

三、线程池类型

1、cache

无限制的线程池,为每个请求创建一个线程

2、fixed

有着固定大小的线程池,大小由size属性指定,允许你指定一个队列(使用queue_size属性指定)用来保存请求,直到有一个空闲的线程来执行请求。如果Elasticsearch无法把请求放到队列中(队列满了),该请求将被拒绝

 

四、修改线程池配置

1、elasticsearch.yml

 

threadpool.index.type: fixed
threadpool.index.size: 100
threadpool.index.queue_size: 500

 

2、Rest API

 

curl -XPUT 'localhost:9200/_cluster/settings' -d '{
    "transient": {
        "threadpool.index.type": "fixed",
        "threadpool.index.size": 100,
        "threadpool.index.queue_size": 500
    }
}'

 

 

五、bulk异常排查

使用es bulk api时报错如下

 

EsRejectedExcutionException[rejected execution(queue capacity 50) on.......]

这个错误明显是默认大小为50的队列(queue)处理不过来了,解决方法是增大bulk队列的长度

 

elasticsearch.yml

 

threadpool.bulk.queue_size: 1000

 

 



相关文档

https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-nodes-stats.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html

















本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7840629.html,如需转载请自行联系原作者


相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
28天前
|
Linux API C++
【C++ 线程包裹类设计】跨平台C++线程包装类:属性设置与平台差异的全面探讨
【C++ 线程包裹类设计】跨平台C++线程包装类:属性设置与平台差异的全面探讨
51 2
|
4月前
|
Java
线程数设置
线程数设置
38 0
|
8月前
|
并行计算 算法 数据挖掘
GATK4丨如何设置线程数和内存大小?
GATK4丨如何设置线程数和内存大小?
|
8月前
|
算法 Java 数据库
面试官:线程池里面到底该设置多少个线程?
关于如何计算并发线程数,一般分两派,来自两本书,且都是好书,到底哪个是对的?问题追踪后,整理如下:
|
8月前
|
Java
第二季:9.线程池用过吗?生产上你如何设置合理参数【Java面试题】
第二季:9.线程池用过吗?生产上你如何设置合理参数【Java面试题】
83 0
|
11月前
|
缓存 安全 Java
手把手教你实现线程安全并且可以设置过期时间的LRU缓存。安排!
1. LRU 缓存介绍 2. ConcurrentLinkedQueue简单介绍 3. ReadWriteLock简单介绍 4.ScheduledExecutorService 简单介绍 5. 徒手撸一个线程安全的 LRU 缓存 6. 实现一个线程安全并且带有过期时间的 LRU 缓存 很多人就会问了:“网上已经有这么多现成的缓存了!为什么面试官还要我们自己实现一个呢?” 。咳咳咳,当然是为了面试需要。哈哈!开个玩笑,我个人觉得更多地是为了学习吧!
|
调度
Jmeter之线程组设置简介
线程数:组内线程个数,模拟用户的数量。 循环次数:每个线程循环执行取样器的次数;勾选【永远】一直循环执行(慎用)可配合【调度器】使用。 调度器:默认禁用,使用时需要勾选,勾选后,持续时间6,启动延迟时间2:点击启动按钮后,延迟2s后才开始执行取样器,并持续执行6s。
320 0
Jmeter之线程组设置简介
|
Java
Java设置和获取线程名称及线程休眠
当想在Runnable实现类的run方法中及Callable实现类的call方法中获取当前线程的名字,就得通过Thread.currentThread()获取当前线程
187 0
Java设置和获取线程名称及线程休眠
|
测试技术 调度
性能测试|JMeter线程组设置
性能测试|JMeter线程组设置
149 0
性能测试|JMeter线程组设置
|
Linux
LINUX获得线程号、设置线程名
LINUX获得线程号、设置线程名
254 0