来~与你讲一段ES节点扩容、数据迁移的故事……

简介:

运维攻城狮

作为最优(ku)秀(bi)的职业

若是没有些方法技巧

那是极可能需要牺牲些个人时间

1b4afa78fb8b5c6e88f77c742d76cb5d8cde2c0e

对此,本萌我

不能视而不见,见而不救啊!

 

比如,ES集群里的数据越来越大,

日增500G日志数据,

日志数量太多怎么办?

来来来,掌声有请

185e7884bad8d2f1d5a858a40f29bce4de5abc70

帮你做一波扩容,让你走上人生巅峰!

0df068c513b19f46d2ecf5466304f70ed39c3dce

6172a8bc97cd743a08ab3e3e62b0f1af78d16a46

 

01节点信息

 

目前集群中的节点信息如下:

fcdfe98f66155ebda28fbc50a60460c5030b5854


新增数据节点规格:

 62c35de883d3a3094533aa28d4389907a00b3c2c


新增master节点规格:

a50736e92e6bb9eba49d7a27f7ffc7c8af9a88b1

 

02扩容思路

 

1、将master从集群中分离出来
2、重启节点时给集群中老节点标记一个tag:old
3、将所有索引设置只分配到带有old标签的节点
4、将不怎么使用的索引close
5、将新增的data节点加入到集群中,并设置新的tag:new
6、修改索引template,新建的索引设置新建到tag为new的节点上。
7、在业务低峰期分批将之前在old节点上的索引迁移到new节点上。

 

03实践步骤

 

1、分离master节点

查看当前master节点:

6a0afa415048e783b158a7ff675adc4122861ee4

查看集群中的所有索引,暂时关闭一批历史不需要搜索使用的索引   

ps:主要是需要重启节点,open的索引越少,集群恢复的越快!

53a7cd7ae6234454b584b2036f1981d68d8aa91a

关闭集群reroute:

分别修改集群中node001~node006的配置文件,滚动重启:

040835dd0fd55bd5c01dccb45d2df74c62121e2b

配置好新的master节点es010、es011、es012

63c1d4ddde5b74a8d3c9bde426b761bd395877a9

节点状态:

59e76b6ca5fb26ff290fa71dabd6aa8829514fb0

查看个节点tag:

814bf94d23567d6171f52b3b61801523a2f90421

重启node005,将集群master转移到专属节点。

59127885e25ee808a0a77bd38361ef3663856903

至此,master节点已经从原有集群中分离,并且集群节点也都已做了标记tag。

 

2、修改索引的配置

确保当前集群中的索引只分配到当前标记为old的数据节点,不会分配到新增的数据节点。

88ae9f2055317377f6cea377090d4eb37232876d

3、配置新数据节点

12a7055dc2baa77aa65d46fcbdbacbe1ab303547

4、打开集群分配,并分批将数据迁移

aaf68ca0725cfe940fe9829edaee04c49801e6d3

完成以上四步就可以完成整个数据迁移了smiley_82.png?tp=webp&wxfrom=5&wx_lazy=1

619b54c1c6381f808a58d1dd04a7ae9d69d9e5a4

“ElasticSearch运维技术”了解一下

课件PPT+讲师答疑+沙龙直播

学习ElasticSearch在

袋鼠云、阿里、滴滴、有赞的实践应用成果;

学习ElasticSearch的

开发思路和性能优化策略!

目录
相关文章
|
28天前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之数据库不能自己减少节点如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
JSON 数据格式 索引
记一次ES节点扩容、数据迁移实践
ElasticSearch、ES数据迁移、ES扩容
13234 0
|
23天前
|
监控 关系型数据库 数据库
OceanBase数据库常见问题之增加内存依旧报内存不足如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
5月前
|
NoSQL Redis
轻松掌握组件启动之Redis集群扩展秘籍:轻松扩容与缩容,释放高性能潜能
在这篇文章中,我们将揭示Redis集群的扩容和缩容操作,让您的Redis集群发挥最佳性能和可伸缩性。通过增加主节点和从节点,并将它们无缝添加到集群中,您将能够轻松扩展您的Redis集群以满足不断增长的需求。同时,我们还将探讨如何进行缩容操作,即删除节点,以优化集群资源的利用。无论您是初学者还是经验丰富的Redis用户,本文将为您提供一系列有用的技巧和最佳实践,帮助您更好地管理和优化Redis集群,实现更高的性能和可扩展性。
|
6月前
|
NoSQL Redis
114分布式电商项目 - Redis集群(节点增加删除)
114分布式电商项目 - Redis集群(节点增加删除)
25 1
|
7月前
|
运维 负载均衡 OceanBase
第四章:OceanBase集群技术架构(动态扩容和缩容)
第四章:OceanBase集群技术架构(动态扩容和缩容)
340 0
|
10月前
|
关系型数据库 MySQL 测试技术
动态扩容缩容的分库分表我想说 | 青训营笔记
动态扩容缩容的分库分表我想说 | 青训营笔记
64 0
|
11月前
|
存储 弹性计算 关系型数据库
实践教程之如何对PolarDB-X的存储节点发起备库重搭
PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。本期实验将指导您如何对PolarDB-X的存储节点发起备库重搭。
|
Kubernetes 网络安全 调度
关于K8s中工作节点扩容、隔离、恢复的一些笔记
写在前面 分享一些K8s中Node扩容、隔离、恢复的笔记 博文主要是通过 kubeadm做节点扩容的一个Demo 理解不足小伙伴帮忙指正
280 0
|
关系型数据库 MySQL 中间件