避坑指南,Elasticsearch 分页查询的两个问题,你一定要知道

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 使用 Docker 部署完 RabbitMQ 服务,到 /var/log/rabbitmq 目录下一看,空空如也,并没有日志文件生成。是没有日志吗?并非如此,日志都打在了标准输出上。

Elasticsearch 分页查询有个特点,如果你写一个这样的查询语句:


{
    "from" : 10, "size" : 10,
    "query" : {}
}
复制代码


Elasticsearch 会查询出前 20 条数据,然后截断前 10 条,只返回 10-20 的数据。


这样做带来的副作用很明显,数据量大的话,越到后面查询越慢。


所以针对大数据量的查询,要使用 scroll。这种方式相当于建立了一个游标,标记当前的读取位置,保证下一次查询快速取出数据。


但这两种方式都还有一个小坑需要注意,下面来详细说明。


from + size 方式


可能会出现的问题:


Result window is too large, from + size must be less than or equal to: [10000] but was [10010].  See the scroll api for a more efficient way to request large data sets.  This limit can be set by changing the [index.max_result_window] index level setting.


这个报错信息其实已经说的很明确了,通过这种分页方式查询的最大值是 10000,超过 10000 就会报错。


解决办法也很简单,一是针对大数据量查询采用 scroll 方式;二是增加 index.max_result_window 值的大小,使其支持查询范围。


推荐使用 scroll 方式。


scroll 方式


可能会出现的问题:


Trying to create too many scroll contexts. Must be less than or equal to: [500]. This limit can be set by changing the [search.max_open_scroll_context] setting.


产生这个错误的原因是:


当有大量需要使用 scroll 的请求向 Elasticsearch 请求数据时,系统默认最大 scroll_id 数量是 500,当达到最大值时,导致部分请求没有 scroll_id 可用,产生报错。


特别是在高并发场景下,这种问题可能会更加常见。


解决办法可以增加 search.max_open_scroll_context 值的大小。


但这么解决并不好,更好的办法是查询完之后,及时清理 scroll_id。


# python
from elasticsearch import Elasticsearch
client = Elasticsearch(host, http_auth=(username, password), timeout=3600)
es_data = client.search(es_index, query_body, scroll='1m', size=100)
scroll_id = es_data['_scroll_id']
client.clear_scroll(scroll_id=scroll_id)  # 清理方法
复制代码


其实,即使我们不手动清理,等过期之后,游标也会自己释放,这跟使用时的参数有关。

比如 scroll='1m' 代表 1min 后会释放。


但就像我们使用其他资源一样,使用完之后及时释放,养成良好的编码习惯,系统才能更健壮。


参考文档:



相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
6月前
|
缓存 搜索推荐 关系型数据库
Elasticsearch - 闲聊ElasticSearch中的分页
Elasticsearch - 闲聊ElasticSearch中的分页
59 0
|
存储 缓存 固态存储
这样优化Elasticsearch,显著提升查询速度
elasticsearch的搜索效率与多方面有关,例如系统资源、数据查询方式、数据索引方式等,本文从各方面讨论如何进行搜索速度的优化,提升查询的性能。
1328 0
|
Web App开发 自然语言处理 JavaScript
ElasticSearch 查询实践(下)
ElasticSearch 查询实践
1370 0
|
5月前
分布式系列教程(32) -ElasticSearch条件查询
分布式系列教程(32) -ElasticSearch条件查询
173 0
|
8月前
|
存储 SQL 算法
【Elasticsearch】学好Elasticsearch系列-聚合查询
【Elasticsearch】学好Elasticsearch系列-聚合查询
88 0
|
8月前
|
存储 JSON Java
【Elasticsearch】学好Elasticsearch系列-脚本查询
【Elasticsearch】学好Elasticsearch系列-脚本查询
203 0
|
9月前
|
索引
Elasticsearch 基础查询语句汇总
包含指定条件查询,区间查询,指定多个id查询,模糊查询,多字段查询,分页查询等
|
10月前
|
存储 SQL 缓存
【ElasticSearch从入门到放弃系列 十】Elasticsearch深度分页查询方式讨论
【ElasticSearch从入门到放弃系列 十】Elasticsearch深度分页查询方式讨论
100 0
|
10月前
|
SQL 关系型数据库 MySQL
【ElasticSearch从入门到放弃系列 十一】Elasticsearch常用查询方式讨论及实践(五)
【ElasticSearch从入门到放弃系列 十一】Elasticsearch常用查询方式讨论及实践(五)
60 0
|
10月前
|
缓存
【ElasticSearch从入门到放弃系列 十一】Elasticsearch常用查询方式讨论及实践(三)
【ElasticSearch从入门到放弃系列 十一】Elasticsearch常用查询方式讨论及实践(三)
64 0