带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (7)

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 带你读《Elastic Stack 实战手册》之53:——3.5.12.Monitoring及Central Management (7)

《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.12.Monitoring及Central Management (6) https://developer.aliyun.com/article/1228346


索引生命周期

 

Elasticsearch 在 6.7 版本推出的索引生命周期管理(index lifecycle management,简称ILM),生命周期把索引分为四个阶段,Hot,Warm,ColdDelete。这也是 Elastic 目前官方比较推荐的索引管理方法。

 

image.png


创建一个 Index Lifecycle policy

 

在 Kibana 上操作,依次点击 Mangement-> Stack Management -> Index Lifecycle Policies->Create policy,输入配置参数后,点击 Save as new policy 可以生成一个新的策略。

 

image.png

image.png


点击 Show request,可得到创建此 Policy 的请求语句


PUT _ilm/policy/team7_policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_docs": 5
          },
          "set_priority": {
            "priority": 100
          }
        }
      },
      "delete": {
        "min_age": "10m",
        "actions": {}
      }
    }
  }
}

在集群中验证创建的策略:

 

1、配置 lifecycle 检测时间


PUT _cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval": "5s" 
  }
}

默认为十分钟,为了测试效果,改为 5 秒钟。

 

2、创建索引模板


PUT _template/team7_template
{
  "index_patterns": [
    "my_team7*"
  ],
  "settings": {
"number_of_shards": 1,
    "number_of_replicas": 1,
    "index.lifecycle.name": "team7_policy",
     "index.lifecycle.rollover_alias": "my_team7",
    "index.default_pipeline": "indexed_at"
  }
}


索引以 my_team7-开头的自动采用 settings 的配置。

 

index.lifecycle.name 表示采用 team7_policy 的策略,

 

index.lifecycle.rollover_alias 表示创建使用该模版创建的索引

 

统一用 my_team7 的别名进行管理。

 

3、创建索引

PUT my_team7-000001
{
  "aliases": {
    "my_team7": {
      "is_write_index": true
        }
  }
}

创建一个开始的索引,并设置当前索引可通过索引别名写入。

 

4、验证功能

 

一切准备就绪,我们开始验证

 

首先执行下面的新建文档操作5次


POST my_team7/_doc
{
  "message": "this is team7 test"
}

image.png


之后 Rollover 执行,新的索引创建,如下所示

image.png


10m 以后, my_team7-000001 删除至此,一个完整的 ILM Policy 执行的流程就结束了,而后续 my_team7-000002 也会按照这个设定进行流转。

 

索引快照和恢复

 

l console开发工具

console终端

Profiler分析

Grok调试工具


l 采集管理

Logstash管道

Beats集中管理

 

l 数据管理

索引管理

索引生命周期

索引快照和恢复

 

创作人简介

高冬冬,从事运维架构, 参与私有云平台运维体系平台开发,金融行业统一日志平台(PB级)的规划和建设,正在进行包含监控体系和智能运维的统一监控告警平台的规划和设计。

自 2016 年开始使用和研究 Elastic Stack 相关技术栈,擅长使用 Elastic Stack 解决日志分析和可观测性相关问题,对 PB 级日志平台的规划,部署,优化和运维有丰富的经验和实践,喜欢学习运用新技术,解决工作中问题和提高生产力。希望以后有更多的机会,分享输出更多有价值的东西给大家。

 

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
存储 数据安全/隐私保护 索引
Windows Server 各版本搭建文件服务器实现共享文件(03~19)
Windows Server 各版本搭建文件服务器实现共享文件(03~19)
|
存储 NoSQL 前端开发
MongoDB 分片总结
这篇文章总结了MongoDB分片的概念、集群结构、分片实例、配置和测试过程。
748 6
|
监控 数据可视化 API
Elasticsearch 的实时监控与告警
【9月更文第3天】随着数据量的不断增加和业务复杂度的提升,对数据系统的实时监控和告警变得至关重要。Elasticsearch 作为一个高性能的搜索和分析引擎,提供了丰富的工具和插件来帮助用户实现实时监控和自动化告警。本文将详细介绍如何配置 Elasticsearch 以实现实时数据监控,并自动触发告警机制。
1267 3
|
人工智能 自然语言处理 机器人
如何从0部署一个大模型RAG应用
本文介绍了如何从零开始部署一套RAG应用,并将其集成到移动端,如钉钉群聊中。应用场景包括客服系统、智能助手、教育辅导和医疗咨询等。通过阿里云PAI和AppFlow,您可以轻松部署大模型RAG应用,并实现智能化的问答服务。具体步骤包括准备向量检索库、训练私有模型、部署RAG对话应用、创建钉钉应用及配置机器人等。
1955 2
如何查看你的公网ip?
在公司你的终端一般会给你分配一个内网ip,然后经过NAT,因为不可能办公室里面的 IP 也是公网可见的,公网地址实在是太贵了,所以一般就是整个办公室共用一个到两个出口 IP 地址。
882 0
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
1335 1
|
移动开发 编解码 网络协议
用Java的BIO和NIO、Netty来实现HTTP服务器(三) 用Netty实现
用Java的BIO和NIO、Netty来实现HTTP服务器(三) 用Netty实现
|
网络协议 Linux 应用服务中间件
高性能网络编程 - 解读5种I/O模型
高性能网络编程 - 解读5种I/O模型
271 0
|
存储 关系型数据库 大数据
MySql分区表性能测试及切换案例
随着业务的快速增长,数据库中表数据量迅速膨胀,业务高峰期开始出现慢SQL、锁表等性能问题,需要优化。结合切换成本与性能测试数据,我们选择通过将非分区表切换到分区表来降低数据库性能风险。 最后,我们在业务始终稳定运行的情况下完成了分区表的切换。
10129 0
element-ui框架的el-dialog弹出框被遮罩层挡住了/el-drawer....会生成v-model元素的组件被遮罩层挡住
element-ui框架的el-dialog弹出框被遮罩层挡住了/el-drawer....会生成v-model元素的组件被遮罩层挡住
887 1

热门文章

最新文章