Elastic: ILM与rollover的关系

简介: 两者本身是无关系的,是独立的两个知识点,并不存在一定要配置了其中一个,才能使用另外一个的情况。只是说我们日常使用中,经常将两者配合起来使用。而当我们在ILM中开启了rollover后,流转到下一节点的min_age是在rollover触发后才开始计时的,也就是说如果我们在rollover中设置3分钟后rollover,而在warm节点的min_age设置了4分钟,那么索引创建后需要7分钟才会流转到warm节点

1. 总结

两者本身是无关系的,是独立的两个知识点,并不存在一定要配置了其中一个,才能使用另外一个的情况。

只是说我们日常使用中,经常将两者配合起来使用。而当我们在ILM中开启了rollover后,流转到下一节点的min_age是在rollover触发后才开始计时的,也就是说如果我们在rollover中设置3分钟后rollover,而在warm节点的min_age设置了4分钟,那么索引创建后需要7分钟才会流转到warm节点

2. 解析

首先要理解ILM的作用是自动化管理索引,帮助实现索引的流转。常常使用ILM来管理数据流。
至于关于数据流的理解,以及数据流与ILM的联系可以查看我另一篇博文深入理解数据流

rollover是通过索引大小、doc数量、过期时间等阈值来管控是否创建新的索引来盛装数据,以此避免大量的数据都装在一个索引上,导致性能上限。

3. 常见问题

1、为什么我配置了ILM数据却一直不流转到warm节点?

首先检查ilm配置是否正确,比如min_age时间(注意计量单位有没有配错)、是否有自定义属性定义冷热节点节点,或者使用data_hot,data_warm,data_cold定义冷热节点
是否开启了rollover,是否满足rollover的条件,kibana上创建ilm时默认是开启rollover的

2、各节点上的min_age是增量时间还是全量时间?

全量时间,准确是rollover之后min_age时间会转移到该节点

3、如果使用的是自定义属性,声明分配节点时使用require,不要用include
"index.routing.allocation.require.hot_warm_cold": "data_hot",

PUT _component_template/my-settings
{
  "template": {
    "settings": {
      "index.lifecycle.name": "my_policy",
      "index.routing.allocation.require.hot_warm_cold": "data_hot",
      "number_of_shards": 1,
      "number_of_replicas": 0
    }
  }
}
目录
相关文章
【python】python跨文件使用全局变量
【python】python跨文件使用全局变量
|
存储 监控 Kubernetes
k8s诊断之记一次pod oom的异常shmem输出
客户反馈java设置xms,xmx参数固定8G内存,而pod的limit则为16G, 三番五次出现了pod oom的情况,且oom的时候他的业务进程输出也是8g, 同时promethus的监控对应pod的working_set_memory也是8个多g, 剩下的几个g的内存到底去哪里了呢?
4133 1
k8s诊断之记一次pod oom的异常shmem输出
|
SQL 存储 关系型数据库
异构数据库、异构数据源、分布式数据库三者的辨析区别
异构数据库系统是相关的多个数据库系统的集合,可以实现数据的共享和透明访问,每个数据库系统在加入异构数据库系统之前本身就已经存在,拥有自己的DMBS。异构数据库的各个组成部分具有自身的自治性,实现数据共享的同时,每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。
|
canal SQL JSON
Elastic: canal数据同步到ES配置常见报错
所有报错均为博主在实操过程中遇到的错误和解决办法,如果有其他报错或者不同的解决办法,请留言告诉我 安装canal过程中遇到问题,先在本文中查询是否有相同报错,将会为你节约大量排错时间
1178 0
Elastic: canal数据同步到ES配置常见报错
|
10月前
|
存储 监控 安全
docker可能存在的问题有哪些?
【10月更文挑战第28天】docker可能存在的问题有哪些?
425 0
|
缓存 负载均衡 Java
OpenFeign最核心组件LoadBalancerFeignClient详解(集成Ribbon负载均衡能力)
文章标题为“OpenFeign的Ribbon负载均衡详解”,是继OpenFeign十大可扩展组件讨论之后,深入探讨了Ribbon如何为OpenFeign提供负载均衡能力的详解。
OpenFeign最核心组件LoadBalancerFeignClient详解(集成Ribbon负载均衡能力)
|
监控 Java 关系型数据库
Elasticsearch之索引管理API(Index management)
Elasticsearch之索引管理API(Index management)
Elasticsearch之索引管理API(Index management)
|
消息中间件 SQL 数据可视化
最接地气的.NET微服务框架 - Wing
最接地气的.NET微服务框架 - Wing
369 0
|
Java 测试技术
【Java】已解决java.lang.NullPointerException异常
【Java】已解决java.lang.NullPointerException异常
1625 0
|
JSON API 网络架构
Index alias — Elastic Stack 实战手册
别名,是为一个或多个索引而命名的第二名称,第二名称不得与集群中任何索引同名;只要把第二名称和真实索引建立绑定关系,便可以使用别名对索引进行相关的操作。
653 0
Index alias — Elastic Stack 实战手册