ES索引切分

简介: 在生产项目中,由于ElasticSearch单个索引数据量大,索引中部分数据不常用,在搜索和写入文档时,效率较低。为了减小单个索引的数据量,提升搜索和文档写入效率,将大索引根据一定的规则拆分为小的索引。
提示:对于一些日志类的数据,我们常用到es作为存储,数据量过大时,可能会用到索引切分,这里可以参考

ES索引切分


前言

在生产项目中,由于ElasticSearch单个索引数据量大,索引中部分数据不常用,在搜索和写入文档时,效率较低。为了减小单个索引的数据量,提升搜索和文档写入效率,将大索引根据一定的规则拆分为小的索引。


直接上干货,不多bb(记得点赞,收藏,是我最大的动力)

方案一:ES索引切分验证(policy策略)

配置ilm策略 (max_docs = 1 测试用)

  • Ilm策略和模板搭配使用,模板引用此策略
PUT _ilm/policy/das_v5_policy
{
  "policy":{
    "phases": {
      "hot": {
        "actions": {
          "set_priority": {
            "priority": 100
          },
          "rollover": {
            "max_age": "1d",
            "max_docs": 1,
            "max_size": "5gb"
          }
        }
      }
    }
  }
}

查询ilm策略

GET _ilm/policy

rollover检测索引策略默认10min - 配置为3s 测试

PUT _cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval":"3s"
  }
}

创建索引模板

说明:创建索引模板,具体的_mapping根据审计日志确定
das_v5_policy 为指定 策略名称
das_v5_index 滚动触发的别名

PUT _template/das_v5_template
{
  "index_patterns":["das_v5_*"],
  "settings":{
    "number_of_shards":2,
    "number_of_replicas":0,
    "index.lifecycle.name":"das_v5_policy",
    "index.lifecycle.rollover_alias":"das_v5_index "
  }, 
  "mappings": {
    "properties": {
      "name":{
      "type":"keyword"
    },
    "age":{
      "type":"long"
    }
    }
  }
}

创建索引,指定别名

说明:创建索引,指定别名,允许索引写入数据

PUT das_v5_20210121-000001
{
  "aliases": {
    "das_v5_index": {
      "is_write_index":true
    }
  }
}

使用别名插入数据

说明:每次put数据,会产生一个新的索引

POST das_v5_index/_doc
{
  "name":"yxd",
  "age":17
}

第一次put数据
在这里插入图片描述
策略配置3秒检测一次,所以3秒后再次put结果:
在这里插入图片描述索引自动滚动,验证成功,由 03 变成 04

仔细研究,发现存在一个问题

  1. 使用策略进行维护管理索引,需要配置好模板- 模板和策略关联,必须使用别名
  2. 历史数据问题:

    • Rollover控制索引滚动,写入数据使用别名写入,那么使用别名写入时,无法向历史索引写入数据
    • 手动使用指定历史索引写入数据,不使用别名,那么索引无法自动进行切分,策略不会生效

在这里插入图片描述
如上图所示:

  1. 此时别名das_v5_index 已经滚动到das_v5_20200123_02索引上
  2. Write通过别名无法向索引das_v5_20200122_02写入数据

解决方案

多模板多别名同策略模式

① 创建日期模板 YYYYMM 日期替换

PUT _template/das_v5_template_YYYYMM
{
  "index_patterns":["das_v5_YYYYMM*"],
  "settings":{
    "number_of_shards":2,
    "number_of_replicas":0,
    "index.lifecycle.name":"das_v5_policy",
    "index.lifecycle.rollover_alias":"das_v5_index_YYYYMM"
  }, 
  "mappings": {
    "properties": {
      "name":{
      "type":"keyword"
    },
    "age":{
      "type":"long"
    }
    }
  }
}

② 创建该日期符合索引模板的索引,并配置日期格式别名

PUT das_v5_YYYYMM-000001
{
  "aliases": {
    "das_v5_index_YYYYMM": {
      "is_write_index":true
    }
  }
}

③ 使用别名插入当天数据

POST das_v5_index_YYYYMM/_doc
{
  "name":"yxd",
  "age":17
}

④ 如果索引模板多了,可删除N天之前的模板

DELETE _Template/ das_v5_index_YYYYMM

备注:重复put索引,产生异常,可能导致策略无法维护索引,集群部署状态下,可能要考虑相关问题

方案二:多别名,rollover方式

该方案为:

  1. 创建一个独立公用的索引模板
  2. 使用日期滚动创建索引,并使用别名(一次可创建多个索引/别名,未来几天的)

       实现:可通过定时任务,每天凌晨执行,创建未来几天要用到的索引
    
  3. 代码每次提交写入es数据之后, Rollover 检测滚动一次

创建公共索引模板

代码如下(示例):

在这里插入图片描述

创建索引

说明:定时任务,执行创建日期-索引并使用日期别名,查询也可使用日期别名
在这里插入图片描述

数据插入

说明:程序插入数据,只需要使用日期别名,插入数据到es即可,历史数据使用历史当天日期的别名插入
在这里插入图片描述

索引切分

第一种:
每次数据插入提交之后,可代码手动rollover一次

第二种:
定时任务管理rollover,查询最近几天的索引,定时检测切分,可每10分钟一次(一二种,可同时用)
在这里插入图片描述


总结

推荐使用方案二:
优点:

  1. 简单好用,不用担心集群部署等会出现的问题
  2. 查询也可使用别名
  3. 索引切分方式灵活,可靠
  4. 插入历史数据等,都可使用别名插入,不用做多余的开销维护
目录
相关文章
|
IDE Go 开发工具
Go开发IDE全览:GoLand vs VSCode全面解析
Go开发IDE全览:GoLand vs VSCode全面解析
2149 0
|
数据库 UED Python
1、基于python多进程+pyqt5开发流畅界面程序
使用python+pyqt5开发界面程序,利用多进程分离界面和任务执行功能,达到界面流畅不卡顿的要求。 本文程序示例:https://github.com/AlvinsFish/UiExample
3130 0
1、基于python多进程+pyqt5开发流畅界面程序
|
10月前
|
数据采集 人工智能 机器人
2026年 智能体来了!什么是 AI 智能体工程化?为什么金加德强调 Workflow + Code 才能真正落地?
AI智能体工程化是将AI从聊天工具升级为“数字员工”,通过流程编排(Workflow)、代码逻辑(Code)与知识增强(RAG),让其稳定执行重复性业务流程,实现可复用、可落地的自动化生产。
971 7
|
10月前
|
存储 弹性计算 人工智能
2核8G配置阿里云ECS通用型g8i实例(ecs.g8i.large)云服务器优惠活动价格及性能测评
阿里云ECS通用型g8i实例(ecs.g8i.large)以2核8G+20GB ESSD云盘为核心,凭借强劲的计算性能、低虚拟化损耗、全链路安全防护和灵活扩展能力,成为中小型通用业务的优质选择。它既能稳定支撑Web应用、企业内部系统等传统场景,也能适配轻量AI推理等新兴需求,同时具备成本优势。用户只需结合自身业务访问量选择合适带宽,做好基础安全配置和数据备份,就能充分发挥其性能优势,实现高效稳定的业务部署。
|
11月前
什么是幂等
幂等性指操作执行一次或多次结果一致。读操作(如HTTP GET)不改变数据,天然幂等;写操作(如POST、PUT、DELETE)可能改变状态,需额外机制保障幂等。
|
安全 Linux 测试技术
OpenText Static Application Security Testing (Fortify) 25.3 (macOS, Linux, Windows) - 静态应用安全测试
OpenText Static Application Security Testing (Fortify) 25.3 (macOS, Linux, Windows) - 静态应用安全测试
1010 0
|
数据采集 JavaScript 前端开发
Pyppeteer实战:基于Python的无头浏览器控制新选择
本文详细讲解了如何使用 Pyppeteer 结合爬虫代理高效采集小红书热点推荐信息。通过设置代理 IP、Cookie 和自定义 User-Agent,突破目标网站的反爬机制,实现标题、内容和评论的数据提取。文章结合代码示例与技术关系图谱,清晰展示从数据采集到分析的全流程,为复杂网站的数据获取提供参考。读者可在此基础上优化异常处理、并发抓取等功能,提升爬虫性能。
1425 8
|
API 索引
Elasticsearch索引迁移的四种方式
本文主要讲解Elasticsearch下实现索引迁移的几种方式。
10975 0