5 分钟完成 ZooKeeper 数据迁移

本文涉及的产品
云原生网关 MSE Higress,422元/月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
可观测可视化 Grafana 版,10个用户账号 1个月
简介: MSE 提供了多种数据迁移的方案,其中主流的方案可以通过 MSE Sync 进行实时同步,这样能够达到平滑不停机的目的,本文将介绍另外一种数据迁移的方式,主要针对业务支持停机的场景,进行一个补充,操作相比更加简单快速。

作者:草谷


前言


MSE 提供了托管版的 ZooKeeper,包含比开源 ZooKeeper 更强大更稳定的功能,能帮助您免去运维 ZooKeeper 集群的烦恼,当我们需要从自建 ZooKeeper 迁移到 MSE ZooKeeper 上面时,往往依赖旧集群的数据,MSE 提供了多种数据迁移的方案,其中主流的方案可以通过 MSE Sync 进行实时同步,这样能够达到平滑不停机的目的,本文将介绍另外一种数据迁移的方式,主要针对业务支持停机的场景,进行一个补充,操作相比更加简单快速。


实现原理


1.png


在对 ZooKeeper 进行了若干次事务操作之后,ZooKeeper 会将内存数据全量写入到本地磁盘中,生成一个 snapshot 开头的快照文件,这个快照文件就包含了该集群的全量数据。同时 ZooKeeper 在节点启动的时候,会首先加载该快照文件进行一次数据初始化。


基于此原理,我们可以将任意要迁移集群的快照文件,放到目标集群的快照路径中,然后重启目标集群就可以将迁移集群的数据加载到自己的内存中了,这样就完成了一次全量数据的迁移。


数据导入实践

2.png


步骤一:获取快照文件


“支持开源 ZooKeeper 3.4.x~3.8.x 的数据迁移导入到 MSE ZooKeeper”


我们先找到自建 ZooKeeper 的 Snap 缓存文件:


文件名为 “snapshot.xxx”格式的:是 ZooKeeper 某个时刻的全量数据,ZooKeeper 会定时写到磁盘中的。


  • 文件路径
     

snapshot.xxx 文件的存储路径:会配置在 ZooKeeper 的 zoo.cfg(zoo.cfg 默认放在 zookeeper 目录的 conf 文件夹下)配置文件中,dataDir 项,例如:


dataDir=/home/admin/zookeeper/zkData

  • 获取文件


snapshot.xxx 一般在目录中会存在多个,拿最近时间生成那个即可:

3.png


步骤二 :准备 MSE 集群


以下表格供参考,购买还需要参考 QPS/TPS 等维度的约束,例如读写数据较小,QPS/TPS 相应也能提高,具体以业务场景为准:


4.jpeg


步骤三:上传快照文件


从注册配置中心列表页点击你购买的实例,进入 ZooKeeper 的基础信息页:


5.png

从“节点管理”进入管理页面:


6.png

点击“数据导入”,上传 Snapshot 文件,文件大小限制会根据你当前 ZooKeeper 配置自动提示,例如本次购买的 4C8G,提示最大不可超过 800M 大小:


7.png

上传完了之后,3 个节点的集群大概 5 分钟左右,数据即可导入重启完成。


结果验证


数据导入完成之后,即可通过 endpoint 进行 MSE ZooKeeper 的访问,获取到迁移数据。


“mse-xxxx-p.zk.mse.aliyuncs.com” 为集群的 endpoint:


 CuratorFrameworkFactory.builder().connectString("mse-xxxx-p.zk.mse.aliyuncs.com:2181")
                    .sessionTimeoutMs(10000).retryPolicy(
                    retryPolicy).
                    build().start();
   ZooKeeper zk = new ZooKeeper("mse-xxxx-p.zk.mse.aliyuncs.com:2181", 30000,
                new Watcher() {
                    @Override
                    public void process(WatchedEvent event) {
                        System.out.println("ZooKeeper=====" + event);
                    }
                });


购买 MSE Zookeeper 享受企业级服务


8.png


9.png

相关文章
|
JSON NoSQL Redis
redis-full-check校验工具
redis-full-check是阿里云Redis&MongoDB团队开源的用于校验2个redis数据是否一致的工具,通常用于redis数据迁移后正确性的校验。
24983 0
|
6月前
|
人工智能 JSON 安全
API 即 MCP|Higress 发布 MCP Marketplace,加速存量 API 跨入 MCP 时代
Higress 发布 MCP Marketplace,加速存量 API 跨入 MCP 时代。
|
缓存 Linux 开发工具
CentOS 7- 配置阿里镜像源
阿里镜像官方地址http://mirrors.aliyun.com/ 1、点击官方提供的相应系统的帮助 :2、查看不同版本的系统操作: 下载源1、安装wget yum install -y wget2、下载CentOS 7的repo文件wget -O /etc/yum.
255366 0
|
存储 负载均衡 NoSQL
一文让你搞懂 zookeeper
一文让你搞懂 zookeeper
15214 15
|
安全 Android开发 数据安全/隐私保护
探索安卓与iOS的安全性差异:技术深度分析与实践建议
本文旨在深入探讨并比较Android和iOS两大移动操作系统在安全性方面的不同之处。通过详细的技术分析,揭示两者在架构设计、权限管理、应用生态及更新机制等方面的安全特性。同时,针对这些差异提出针对性的实践建议,旨在为开发者和用户提供增强移动设备安全性的参考。
590 3
|
运维 Java Shell
手工触发Full GC:JVM调优实战指南
本文是关于Java应用性能调优的指南,重点介绍了如何使用`jmap`工具手动触发Full GC。Full GC是对堆内存全面清理的过程,通常在资源紧张时进行以缓解内存压力。文章详细阐述了Full GC的概念,并提供了两种使用`jmap`触发Full GC的方法:通过`-histo:live`选项获取存活对象统计信息,或使用`-dump`选项生成堆转储文件以分析内存状态。同时,文中也提醒注意手动Full GC可能带来的性能开销,建议在生产环境中谨慎操作。
|
传感器 数据采集 运维
ERP系统中的生产线监控与异常处理解析
【7月更文挑战第25天】 ERP系统中的生产线监控与异常处理解析
550 8
|
Linux
Linux 堡垒机命令行中如何上传下载文件(SecureCRT - SFTP)
Linux 堡垒机命令行中如何上传下载文件(SecureCRT - SFTP)
907 0
|
自然语言处理 搜索推荐 Java
计算文本相似度的几种方法
计算文本相似度的几种方法
|
存储 Linux
LVM条带化
LVM条带化
752 0