Elasticsearch缓存

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elasticsearch为了提升查询效率,提供了多种查询缓存,本文会对这些种类的缓存进行分析,包括缓存的使用场景、监控缓存的使用情况等。

一、引言

Elasticsearch为了提升查询效率,提供了多种查询缓存,本文会对这些种类的缓存进行分析,包括缓存的使用场景、监控缓存的使用情况等。

二、Node Query Cache

基于Elasticsearch节点级别的缓存,由节点上所有的分片所共享,主要缓存查询的结果集。节点查询缓存实现了 LRU缓存清除策略,当缓存满了的时候,会清除最近最少使用的数据,为新数据腾出可用空间。

节点查询缓存只缓存使用了Filter过滤器查询到的结果,所以也被称为Filter Cache。

节点查询缓存数量和大小可以通过以下配置进行设置:

#默认10000

indices.queries.cache.count: 10000

#默认堆内存10%,可以指定固定大小

indices.queries.cache.size: 512mb

另外还可以指定是否缓存某个索引的数据,这通过索引的配置项index.queries.cache.enabled指定,值可以为true和false,默认为true,注意只可以在索引创建或者关闭的时候设置,无法动态设置。

Node Query Cache对于哪些数据哪些场景下会缓存有独立的缓存策略:

  • TermQuery、MatchAllDocsQuery、MatchNoDocsQuery、BooleanQuery、DisjunctionMaxQuery都不会被缓存。
  • MultiTermQuery、MultiTermQueryConstantScoreWrapper、TermInSetQuery、PointQuery 访问2次就会被缓存,其余的场景访问5次才会被缓存。

三、Shard Rquest Cache

基于索引分片级别的缓存。Elasticsearch的请求发到一个协调节点,协调节点通过转发请求到实际的数据节点获取数据,并且将数据进行组装以后返回响应。每一个节点的分片都会将请求本地结果缓存起来,当访问命中时直接从缓存获取,不需要通过读取磁盘的方式,速度会提升很多。

默认情况下,Shard Rquest Cache只缓存查询请求中size=0的请求结果,主要包括aggregations、hits.total和suggestions等。以下情况不会被缓存:

  • 范围查询使用now,由于它是毫秒级别的,缓存下来没有意义
  • 脚本查询中使用了 Math.random() 、Date()等函数的查询
  • scroll查询
  • 设置了 requestCache=false
  • 查询类型不是 QUERY_THEN_FETCH
  • 设置了profile

由于request cache基于分片,当新的segment写入的时候,原缓存的结果已经不是最新的数据,所以缓存会失效。

四、Fielddata Cache

Fielddata Cache包含了global ordinals和text字段field data的缓存, 主要用于对字段进行排序或聚合 ,它将所有的Field data聚合后的结果加载到内存中,以提供快速的访问。Fielddata Cache十分消耗内存,因为一般用于排序或者聚合的数据较大,需要有足够多的内存。

特别说明,从5.0 版本开始,text 字段默认关闭了 Fielddata 功能,当你对一个text类型的字段进行sort、aggregation时会提示以下异常:

Fielddata is disabled on text fields by default.  Set `fielddata=true` on

[`your_field_name`] in order to load fielddata in memory by uninverting the

inverted index. Note that this can however use significant memory.

如果要对text类型的字段开启fielddata,可以使用以下API:

curl--location--request PUT 'http://127.0.0.1:9200/fruit/_mapping' \

--header'Content-Type: application/json' \

--data-raw'{

   "properties": {

       "name": {

           "type": "text",

           "fielddata": true

       }

   }

}'

Fielddata Cache的大小通过配置文件配置参数indices.fielddata.cache.size进行控制,可以是比例例如 10%,也可以是直接指定具体的值,例如2GB。

五、文件系统缓存

Elasticsearch底层是基于Lucene实现的,Lucene底层涉及大量的文件读写,实际上会使用到文件系统缓存,这点是很容易被忽略的,可以通过free命令查看系统buffer/cache使用情况。

六、 indexing buffer

elasticsearch索引的过程不会直接写入磁盘,而是先写入一个缓冲区,定时刷新到磁盘或者等缓冲区满了以后刷新到磁盘,这个缓冲区就是 indexing buffer。索引缓冲区的大小通过配置indices.memory.index_buffer_size指定,默认值为10%.

另外还有两个参数用于直接指定最大和最小缓冲区的大小,分别是indices.memory.min_index_buffer_sizeindices.memory.max_index_buffer_size,其中最小缓冲区默认为48mb。

七、elasticsearch缓存使用情况查询

Node Query Cache(queryCache)、Shard Rquest Cache(requestCache)、Fielddata Cache(fielddata)的使用情况可以通过 Nodes info API 或者Cat  API进行查询。

curl-X GET 'http://127.0.0.1:9200/_cat/nodes?v&h=name,queryCacheMemory,fielddataMemory,requestCacheMemory,requestCacheHitCount,requestCacheMissCount'

得到的结果如下:

name               queryCacheMemory fielddataMemory requestCacheMemory requestCacheHitCount requestCacheMissCount

FantuanTech-Node-1               0b              0b              2.1kb                    3                     3


相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
4月前
|
存储 缓存 监控
Elasticsearch Filter 缓存加速检索的细节,你知道吗?
【8月更文挑战第15天】在大数据与搜索引擎的广阔天地里,Elasticsearch 凭借其强大的全文搜索能力和可扩展性,成为了众多企业和开发者的首选。而在Elasticsearch的性能优化中,Filter缓存(也称为Filter Cache,自Elasticsearch 7.x版本后更名为Query Cache的一部分)扮演着至关重要的角色。今天,我们就来深入探讨一下Elasticsearch Filter缓存如何加速检索过程,以及在日常工作学习中如何有效利用这一特性。
92 0
|
存储 缓存 数据可视化
【Elastic Engineering】Elasticsearch 缓存深度剖析:一次提高一种缓存的查询速度
缓存是加快数据检索速度的王道。因此,如果您有兴趣了解 Elasticsearch 如何利用各种缓存来确保您尽可能快地检索数据,请仔细研读这篇博文,接下来的内容全是干货。本篇博文将阐释 Elasticsearch 的各种缓存功能,这些功能可帮助您在进行初始数据访问后更快地检索数据。Elasticsearch 是使用各种缓存的大户,但在本篇博文中,我们将只着重介绍以下三种:
1268 0
【Elastic Engineering】Elasticsearch 缓存深度剖析:一次提高一种缓存的查询速度
|
缓存 监控 API
Elasticsearch缓存详解
Elasticsearch为了提升查询效率,提供了多种查询缓存,本文会对这些种类的缓存进行分析,包括缓存的使用场景、监控缓存的使用情况等。
679 0
Elasticsearch缓存详解
|
缓存 监控 测试技术
Elasticsearch 缓存深入详解
1、Elasticsearch 缓存引出 Elasticsearch 查询的响应需要占用 CPU、内存资源,在复杂业务场景,会出现慢查询,需要花费大量的时间。 如何破局呢?增加集群硬件配置会有高昂硬件开销。还有没有其他方案呢?这时候会想到:缓存。 Elasticsearch 有哪些缓存,不同缓存的应用场景是什么呢?本文给出答案。
1487 0
|
Web App开发 缓存 自然语言处理
Elasticsearch 三种缓存介绍
转自:http://blog.csdn.net/chennanymy/article/details/52504386?locationNum=3 Filter Cache(Query Cache): https://www.elastic.co/guide/en/elasticsearch/reference/1.6/index-modules-cache.html Query Cache也称为Filter Cache,顾名思义它的作用就是对一个查询中包含的过滤器执行结果进行缓存。
1347 0
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
78 6
|
1月前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
1月前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构
|
1月前
|
缓存 NoSQL Redis
Redis 缓存使用的实践
《Redis缓存最佳实践指南》涵盖缓存更新策略、缓存击穿防护、大key处理和性能优化。包括Cache Aside Pattern、Write Through、分布式锁、大key拆分和批量操作等技术,帮助你在项目中高效使用Redis缓存。
232 22