Elasticsearch 使用scroll时出现异常 Trying to create more than 500 scroll contexts will not be allowed

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Trying to create more than 500 scroll contexts will not be allowed in the next

简述

Trying to create more than 500 scroll contexts will not be allowed in the next major version by default
 You can change the  [search.max_open_scroll_context] setting to use a greater default value or lower the number of scrolls that you need to run in parallel."

问题原因

Elasticsearch 使用scroll时,中设置的timeout时间内,累计生成的scroll_id数超过了最大限制

问题解决方式

  • 减小timeout设置
 SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
            searchSourceBuilder.query(queryBuilder);
            searchSourceBuilder.size(5000);
            SearchRequest searchRequest = new SearchRequest();
            searchRequest.source(searchSourceBuilder);
            TimeValue timeValue = new TimeValue(3000);
            searchRequest.scroll(timeValue);
            searchRequest.indices("");
  • 清理scroll
 ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
                clearScrollRequest.addScrollId(scrollId);// 也可以选择setScrollIds()将多个scrollId一起使用
                ClearScrollResponse clearScrollResponse = null;
                try {
                    clearScrollResponse = produceRestClient.clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
                } catch (IOException e) {
                    e.printStackTrace();
                }
                boolean succeeded = clearScrollResponse.isSucceeded();
                log.info("--------------->>>>{}-----", succeeded);
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
18天前
elasticsearch使用 scroll 滚动分页实战实例
elasticsearch使用 scroll 滚动分页实战实例
163 0
|
18天前
|
前端开发 安全 Unix
elasticsearch安装及启动异常解决
elasticsearch安装及启动异常解决
143 0
elasticsearch使用 scroll 滚动分页实战实例
elasticsearch使用 scroll 滚动分页实战实例
373 0
|
固态存储 架构师 开发工具
|
缓存 数据安全/隐私保护
Elasticsearch出现401异常?业务并没有受到影响?
401表示鉴权失败,正常情况下,鉴权失败表示用户名密码信息异常。但是某些场景下,ES 的 Gateway中收到了401的响应,但是业务很正常...
1353 0
Elasticsearch出现401异常?业务并没有受到影响?
|
安全 API 容器
Elasticsearch8.2扩容挪数据master出现异常
Elasticsearch8.2扩容,exclude是一个基本操作。生产过程中操作的时候出现故障,master节点出现异常,产生的现象和脑裂类似...
144 0
Elasticsearch8.2扩容挪数据master出现异常
|
API 数据库 索引
【Elastic Engineering】Elasticsearch:运用 scroll 接口对大量数据实现更好的分页
Elasticsearch:运用 scroll 接口对大量数据实现更好的分页
305 0
【Elastic Engineering】Elasticsearch:运用 scroll 接口对大量数据实现更好的分页
ElasticSearch 启动时异常及其解决方案
ElasticSearch 启动时异常及其解决方案
166 0
ElasticSearch 启动时异常及其解决方案
ElasticSearch_异常_01_org.elasticsearch.transport.ReceiveTimeoutTransportException
一、异常信息 项目启动时 2018-04-17 16:32:16.496 INFO 15992 --- [ main] o.s.d.e.c.TransportClientFactoryBean : adding transport node : localhost:9300 2018-04-17 16:32:21.
3077 0
Elasticsearch Sliced Scroll分页检索案例分享
Elasticsearch Sliced Scroll分页检索案例分享 我们在文章《Elasticsearch Scroll分页检索案例分享》中介绍了elasticsearch scroll的基本用法,本文介绍Elasticsearch Sliced Scroll分页检索功能。
2289 0