前言
在采用ELK分布式日志采集平台的时候，一般都会采用ES来存储采集的日志信息。日志信息一般都是持续增长的，是典型的时序数据。
如果不对采集的日志数据做生命周期管理，很容易导致单个索引体积持续增长、查询速度越来越慢、过期的日志信息浪费空间等问题。
本节主要介绍如果通过ES中的索引生命周期管理机制ILM来实现对日志数据的管理。
一、说明
es可以用来存储日志，一般日志存储只是短期保存，超过一定时间日志要是能自动删除最好，这样保证索引文档不会过多，查询时效性也能得到保证。
索引的生命周期分为四个阶段：HOT->WARM->COLD->Frozen->DELETE。
上面除了HOT为必须的阶段外，其他为非必须阶段，可以任意选择配置。
因为日志索引只要满足自己删除功能，所以下文只配置了HOT与DELETE阶段。
三步实现完成es生命周期管理：
配置策略(policy)->索引模版(template)->索引(index)
二、实战
1.配置策略
说明：
创建策略log_policy，包含2个阶段hot和delete。
hot阶段：数据写入首先进入hot阶段，包含一个回滚的动作，当记录条数达到3时滚动一次，创建一个新的后备索引。
delete阶段：滚动发送后30s，执行删除动作。
PUT _ilm/policy/log_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_docs":3 } } }, "delete": { "min_age": "30s", "actions": { "delete": {} } } } } }
2.创建索引模板
PUT _index_template/log_template { "index_patterns": ["log"], "data_stream": { }, "template": { "settings": { "number_of_shards": 1, "number_of_replicas": 1, "index.lifecycle.name": "log_policy" } } }
参数说明：
index_patterns 索引匹配模式
data_stream 声明是一个数据流
template 配置模板的settings和mappings属性
index.lifecycle.name 生命周期策略名称，最核心的属性，要和上文定义的生命周期名称保持一致。
3.创建索引模板
方式一：创建并添加数据
创建数据流timeseries，同时向数据流中写入一条数据。数据中必须包含@timestamp字段信息
POST log/_doc { "message": "logged the request", "@timestamp": "1633677855467" }
方式二：仅创建数据流
PUT _data_stream/log
注意⚠️：
1、数据流名称必须和索引模板中的index_patterns匹配。
2、写入的数据中必须包含@timestamp字段信息
4.获取数据流信息
GET _data_stream/log
结果：
generation 第一代，说明还没有执行滚动
template 采用的索引模板为log_template
ilm_policy 采用的生命周期管理策略为log_policy
{ "data_streams" : [ { "name" : "log", "timestamp_field" : { "name" : "@timestamp" }, "indices" : [ { "index_name" : ".ds-log-000001", "index_uuid" : "kRMp8y_2SYyw0mh1Sm713A" } ], "generation" : 1, "status" : "YELLOW", "template" : "log_template", "ilm_policy" : "log_policy" } ] }
5.生命周期信息拉取频率
集群参数indices.lifecycle.poll_interval 用来控制索引生命周期管理检查符合策略标准的索引的频率，默认为10m。
所以在索引生命周期策略中配置的动作和条件，并不是即使触发的，而且定期检查触发。
打个比方：
尽管在策略中设置了hot阶段索引中数据记录大于3条就进行滚动，但其实并不是超过3条就立刻进行滚动。而且ES集群定期检查，当发现索引满足滚动条件后才进行滚动操作。
这里为了方便验证，将检查频率改为10s。
PUT /_cluster/settings { "transient": { "indices.lifecycle.poll_interval": "10s" } }
6.验证
向数据流中写入4条记录，查看数据流生命周期的变化情况。
GET .ds-log-*/_ilm/explain
结果：
{ "indices" : { ".ds-log-000001" : { "index" : ".ds-log-000001", "managed" : true, "policy" : "log_policy", "lifecycle_date_millis" : 1633763085182, "age" : "4.06m", "phase" : "hot", "phase_time_millis" : 1633763085834, "action" : "rollover", "action_time_millis" : 1633763096800, "step" : "check-rollover-ready", "step_time_millis" : 1633763096800, "phase_execution" : { "policy" : "log_policy", "phase_definition" : { "min_age" : "0ms", "actions" : { "rollover" : { "max_docs" : 3 } } }, "version" : 1, "modified_date_in_millis" : 1633762512190 } } } }
添加数据：
PUT log/_bulk?refresh { "create":{ } } {"message": "logged the request1","@timestamp": "1633677862467"} { "create":{ } } {"message": "logged the request2","@timestamp": "1633677872468"} { "create":{ } } {"message": "logged the request3","@timestamp": "1633682619628"} { "create":{ } } {"message": "logged the request4","@timestamp": "1633682619628"}
再次查看索引生命周期情况：
GET .ds-log-*/_ilm/explain
执行结果：
{ "indices" : { ".ds-log-000001" : { "index" : ".ds-log-000001", "managed" : true, "policy" : "log_policy", "lifecycle_date_millis" : 1633763525979, "age" : "11.91s", "phase" : "hot", "phase_time_millis" : 1633763085834, "action" : "complete", "action_time_millis" : 1633763528120, "step" : "complete", "step_time_millis" : 1633763528120, "phase_execution" : { "policy" : "log_policy", "phase_definition" : { "min_age" : "0ms", "actions" : { "rollover" : { "max_docs" : 3 } } }, "version" : 1, "modified_date_in_millis" : 1633762512190 } }, ".ds-log-000002" : { "index" : ".ds-log-000002", "managed" : true, "policy" : "log_policy", "lifecycle_date_millis" : 1633763525996, "age" : "11.89s", "phase" : "delete", "phase_time_millis" : 1633763527252, "action" : "rollover", "action_time_millis" : 1633763536853, "step" : "check-rollover-ready", "step_time_millis" : 1633763536853, "phase_execution" : { "policy" : "log_policy", "phase_definition" : { "min_age" : "0ms", "actions" : { "rollover" : { "max_docs" : 3 } } }, "version" : 1, "modified_date_in_millis" : 1633762512190 } } } }
过段时间再次查看，发现只有ds-log-000002。ds-log-000001已经被删除。
{ "indices" : { ".ds-log-000002" : { "index" : ".ds-log-000002", "managed" : true, "policy" : "log_policy", "lifecycle_date_millis" : 1633763696125, "age" : "1.45m", "phase" : "hot", "phase_time_millis" : 1633763697292, "action" : "rollover", "action_time_millis" : 1633763706877, "step" : "check-rollover-ready", "step_time_millis" : 1633763706877, "phase_execution" : { "policy" : "log_policy", "phase_definition" : { "min_age" : "0ms", "actions" : { "rollover" : { "max_docs" : 3 } } }, "version" : 1, "modified_date_in_millis" : 1633762512190 } } } }
说明：
执行结果说明，随着日志数据的写入，log索引能够自动滚动生存新的索引，滚动操作后超过30s的索引数据会被删除。
注意⚠️：
索引生命周期管理，控制的粒度是索引级别，而不是索引记录级别。
所以采用_bulk指令批量写入数据时，都是向当前的最新的写索引写入数据。不会出现写了3条数据就自动触发滚动然后向新的索引写入第4条的情况。
查询的时候也会发现所有的数据都是在索引ds-log-000001中。
当触发delete阶段的删除操作后，会直接删除满足条件的整个ds-log-000001。不会说只删除3条，还有一条保留在ds-log-000002中的情况。
总结
本文主要介绍了通过索引生命周期管理ILM机制实现对日志数据的生命周期的自动化管理。
1、索引生命周期管理的控制粒度是索引级别，而不是索引记录级别。
2、索引生命周期的触发并不是实时的，而是定时周期触发检查机制，检查频率大小由indices.lifecycle.poll_interval控制。
3、日志数据满足时序数据、连续不断持续增长，只读属性的特点，适合采用数据流保存。
