来~与你讲一段ES节点扩容、数据迁移的故事……

简介:

运维攻城狮

作为最优(ku)秀(bi)的职业

若是没有些方法技巧

那是极可能需要牺牲些个人时间


对此,本萌我

不能视而不见,见而不救啊!

 

比如,ES集群里的数据越来越大,

日增500G日志数据,

日志数量太多怎么办?

来来来,掌声有请


帮你做一波扩容,让你走上人生巅峰!



 

01节点信息

 

目前集群中的节点信息如下:



新增数据节点规格:

 


新增master节点规格:


 

02扩容思路

 

1、将master从集群中分离出来
2、重启节点时给集群中老节点标记一个tag:old
3、将所有索引设置只分配到带有old标签的节点
4、将不怎么使用的索引close
5、将新增的data节点加入到集群中,并设置新的tag:new
6、修改索引template,新建的索引设置新建到tag为new的节点上。
7、在业务低峰期分批将之前在old节点上的索引迁移到new节点上。

 

03实践步骤

 

1、分离master节点

查看当前master节点:


查看集群中的所有索引,暂时关闭一批历史不需要搜索使用的索引   

ps:主要是需要重启节点,open的索引越少,集群恢复的越快!


关闭集群reroute:

分别修改集群中node001~node006的配置文件,滚动重启:


配置好新的master节点es010、es011、es012


节点状态:


查看个节点tag:


重启node005,将集群master转移到专属节点。


至此,master节点已经从原有集群中分离,并且集群节点也都已做了标记tag。

 

2、修改索引的配置

确保当前集群中的索引只分配到当前标记为old的数据节点,不会分配到新增的数据节点。


3、配置新数据节点


4、打开集群分配,并分批将数据迁移


完成以上四步就可以完成整个数据迁移了


“ElasticSearch运维技术”了解一下

课件PPT+讲师答疑+沙龙直播

学习ElasticSearch在

袋鼠云、阿里、滴滴、有赞的实践应用成果;

学习ElasticSearch的

开发思路和性能优化策略!

目录
相关文章
|
运维 NoSQL 安全
【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署
结合我们的生产需求,本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程,具有较大的参考价值,基本可照搬使用。 适应数据规模为T级的场景,由于设计了分片支撑,后续如有大数据量需求,可分片横向扩展。
1200 1
|
JSON 数据格式 索引
记一次ES节点扩容、数据迁移实践
ElasticSearch、ES数据迁移、ES扩容
13708 1
|
5月前
|
运维 监控 安全
【TiDB原理与实战详解】2、部署与节点的扩/缩容~学不会? 不存在的!
TiUP 是 TiDB 4.0 引入的集群运维工具,TiUP cluster 用于部署、管理 TiDB 集群,支持 TiDB、TiFlash、TiDB Binlog 等组件。本文介绍使用 TiUP 部署生产环境的具体步骤,包括节点规划、工具安装、配置文件修改及集群部署等。同时,提供了常用命令和安全优化方法,并详细说明了如何进行集群的扩缩容操作,以及时区设置等维护工作。
|
6月前
|
Java 测试技术 API
面试题ES问题之零停机索引重建方案的选择如何解决
面试题ES问题之零停机索引重建方案的选择如何解决
36 0
|
7月前
|
弹性计算 关系型数据库 Serverless
PolarDB产品使用合集之只读结点的上下限 0 ~ 7 ,指的是如果不触发伸缩,就不会有serverless增加的只读结点
PolarDB是阿里云推出的一种云原生数据库服务,专为云设计,提供兼容MySQL、PostgreSQL的高性能、低成本、弹性可扩展的数据库解决方案,可以有效地管理和优化PolarDB实例,确保数据库服务的稳定、高效运行。以下是使用PolarDB产品的一些建议和最佳实践合集。
268 10
|
NoSQL Redis
114分布式电商项目 - Redis集群(节点增加删除)
114分布式电商项目 - Redis集群(节点增加删除)
60 1
|
运维 负载均衡 OceanBase
第四章:OceanBase集群技术架构(动态扩容和缩容)
第四章:OceanBase集群技术架构(动态扩容和缩容)
652 0
|
关系型数据库 MySQL 测试技术
动态扩容缩容的分库分表我想说 | 青训营笔记
动态扩容缩容的分库分表我想说 | 青训营笔记
96 0
|
存储 运维
ES集群规划
ES集群规划
151 0
|
Kubernetes 网络安全 调度
关于K8s中工作节点扩容、隔离、恢复的一些笔记
写在前面 分享一些K8s中Node扩容、隔离、恢复的笔记 博文主要是通过 kubeadm做节点扩容的一个Demo 理解不足小伙伴帮忙指正
341 0