带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (7)

简介: 带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (7)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (6) https://developer.aliyun.com/article/1228346


索引生命周期

 

Elasticsearch 在 6.7 版本推出的索引生命周期管理(index lifecycle management,简称ILM),生命周期把索引分为四个阶段,Hot,Warm,Cold,Delete。这也是 Elastic 目前官方比较推荐的索引管理方法。

 

image.png


创建一个 Index Lifecycle policy

 

在 Kibana 上操作,依次点击 Mangement-> Stack Management -> Index Lifecycle Policies->Create policy,输入配置参数后,点击 Save as new policy 可以生成一个新的策略。

 

image.png

image.png


点击 Show request,可得到创建此 Policy 的请求语句


PUT _ilm/policy/team7_policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_docs": 5
          },
          "set_priority": {
            "priority": 100
          }
        }
      },
      "delete": {
        "min_age": "10m",
        "actions": {}
      }
    }
  }
}

在集群中验证创建的策略:

 

1、配置 lifecycle 检测时间


PUT _cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval": "5s" 
  }
}

默认为十分钟,为了测试效果,改为 5 秒钟。

 

2、创建索引模板


PUT _template/team7_template
{
  "index_patterns": [
    "my_team7*"
  ],
  "settings": {
"number_of_shards": 1,
    "number_of_replicas": 1,
    "index.lifecycle.name": "team7_policy",
     "index.lifecycle.rollover_alias": "my_team7",
    "index.default_pipeline": "indexed_at"
  }
}


索引以 my_team7-开头的自动采用 settings 的配置。

 

index.lifecycle.name 表示采用 team7_policy 的策略,

 

index.lifecycle.rollover_alias 表示创建使用该模版创建的索引

 

统一用 my_team7 的别名进行管理。

 

3、创建索引

PUT my_team7-000001
{
  "aliases": {
    "my_team7": {
      "is_write_index": true
        }
  }
}

创建一个开始的索引,并设置当前索引可通过索引别名写入。

 

4、验证功能

 

一切准备就绪,我们开始验证

 

首先执行下面的新建文档操作5次


POST my_team7/_doc
{
  "message": "this is team7 test"
}

image.png


之后 Rollover 执行,新的索引创建,如下所示

image.png


10m 以后, my_team7-000001 删除至此,一个完整的 ILM Policy 执行的流程就结束了,而后续 my_team7-000002 也会按照这个设定进行流转。

 

索引快照和恢复

 

l console开发工具

○ console终端

○ Profiler分析

○ Grok调试工具


l 采集管理

○ Logstash管道

○ Beats集中管理

 

l 数据管理

○ 索引管理

○ 索引生命周期

○ 索引快照和恢复

 

创作人简介:

高冬冬,从事运维架构, 参与私有云平台运维体系平台开发,金融行业统一日志平台(PB级)的规划和建设,正在进行包含监控体系和智能运维的统一监控告警平台的规划和设计。

自 2016 年开始使用和研究 Elastic Stack 相关技术栈,擅长使用 Elastic Stack 解决日志分析和可观测性相关问题,对 PB 级日志平台的规划,部署,优化和运维有丰富的经验和实践,喜欢学习运用新技术,解决工作中问题和提高生产力。希望以后有更多的机会,分享输出更多有价值的东西给大家。

 

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
缓存 API 定位技术
.tpk格式文件简介
1、.tpk格式的文件是什么?       tpk是ArcGIS10.1推出的一种新的数据文件类型,主要是用于将切片文件打包形成离线地图包,tpk可以在ArcGIS Runtime或者ArcGIS for Android/iOS中作为切片底图被加载。
4761 0
|
9月前
|
存储 缓存 安全
阿里云内存型r9i实例怎么样?2026年阿里云内存型r9i实例性能、价格及适用场景参考
阿里云服务器内存型r9i实例测评,以4核32G配置为例,阿里云2026年内存型r9i实例(ecs.r9i.xlarge),以4核32G的核心配置、全新硬件架构和针对性优化,精准匹配大内存需求场景。下面结合实测数据、官方技术文档和最新价格体系,用通俗的语言详细拆解这款实例的性能表现、价格明细、适用场景及使用技巧,帮不同需求的用户判断是否值得选择,以及如何用合理成本发挥其最大价值。
525 2
|
6月前
|
网络协议 虚拟化 Docker
【Azure Developer】.NET Aspire 启动报错:listen tcp bind: An attempt was made to access a socket in a way forbidden by its access permissions
.NET Aspire在Windows启动时因Hyper-V端口保留机制,导致DCP代理无法绑定53209等端口(报错“访问被拒绝”)。虽端口未被占用,但已被系统保留。推荐方案:修改launchSettings.json,将服务端口改为7xxx等安全范围;或临时重启winnat服务、永久排除指定端口。
760 21
|
8月前
|
数据可视化 前端开发 JavaScript
一款中后台方向的低代码可视化搭建平台
在如今快速迭代的软件开发环境中,如何提升前端开发效率、降低重复劳动,成为许多团队关注的核心问题。低代码平台正是在这种背景下应运而生,它通过可视化拖拽、逻辑编排等方式,让开发者甚至非技术人员也能快速搭建出功能完整的页面或系统。
|
10月前
|
SQL 缓存 安全
SimpleDateFormat 线程安全与并发更新加锁实践
在Java开发中,`SimpleDateFormat`非线程安全,禁止声明为`static`。推荐使用`DateTimeFormatter`(JDK8+)、`ThreadLocal`封装或`DateUtils`。并发修改数据时需加锁,低冲突用乐观锁,高冲突用悲观锁,重试不少于3次。保障高并发下系统稳定。
|
10月前
|
人工智能 自然语言处理 算法
2025年 GEO行业年度鸟瞰全景报告:商业化深耕期的全球竞合与企业适配指南
2025年,中国生成式AI搜索(GEO)市场规模突破480亿元,年增68%。技术成熟与企业需求推动商业化爆发,多模态检索、垂直领域适配成主流。头部效应显著,国内外巨头竞逐本土化与全球化赛道,中小企业迎来轻量化机遇。
|
11月前
|
Shell
Bash 入门
本教程介绍Bash基础,涵盖Hello World输出、命令格式、注释用法、Shebang作用及命令类型(内置、外部、函数、别名)。讲解常用命令如echo、ls、cd、cp等及快捷键,助你快速入门Shell编程。
|
机器学习/深度学习 人工智能 自然语言处理
大模型
大模型正重塑数字世界,以千亿级参数和深度学习技术驱动AI革命。它赋能内容生成、智能交互与知识服务,同时带来伦理、隐私与能耗挑战。未来需走向高效、可信、向善的可持续发展之路。
|
供应链 安全 数据挖掘
1688电商API接口:赋能电商全链路运营的数字化工具
在数字经济时代,1688电商API接口为企业提供商品管理、订单处理、支付集成、物流跟踪等全场景解决方案,助力企业实现数据互通、流程自动化,提升运营效率与业务增长。
1688电商API接口:赋能电商全链路运营的数字化工具

热门文章

最新文章