【ZooKeeper Notes 25】ZooKeeper运维之使用SnapshotFormatter可视化快照数据

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介:

在ZooKeeper的运维过程中,我们经常会碰到这样的问题,就是快照数据文件越来越大,但是ZooKeeper上的数据节点数量并没有相应的增加。

这说明什么问题:一定是有客户端在将ZooKeeper当数据库使用了。长此以往,必然会引起ZooKeeper内存数据过大而影响性能及集群间的数据同步。

那么有没有办法能够排查此类问题呢?解决方法是有的,我们首先需要使用SnapshotFormatter可视化快照数据。

数据快照机制是ZooKeeper用来定时进行内存全量数据dump,每次数据快照都会生成磁盘上的一个snapshot文件,例如:snapshot.300000007。

但是令人沮丧的是,这个文件是二进制格式的,无法看出任何有意义的数据信息。

幸好,ZooKeeper提供给我们一个可视化快照数据的工具:SnapshotFormatter

使用方法如下

java  SnapshotFormatter 快照数据文件

例如我们对上面提到的事务日志对应的快照数据文件进行可视化转换:

java SnapshotFormatter snapshot.300000007

输出内容如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
ZNode Details (count= 7 ):
----
/
   cZxid =  0x00000000000000
   ctime = Thu Jan  01  08 : 00 : 00  CST  1970
   mZxid =  0x00000000000000
   mtime = Thu Jan  01  08 : 00 : 00  CST  1970
   pZxid =  0x00000300000003
   cversion =  2
   dataVersion =  0
   aclVersion =  0
   ephemeralOwner =  0x00000000000000
   dataLength =  0
----
/test_log
   cZxid =  0x00000300000003
   ctime = Tue Sep  03  07 : 08 : 40  CST  2012
   mZxid =  0x00000300000004
   mtime = Tue Sep  03  08 : 13 : 54  CST  2012
   pZxid =  0x00000300000006
   cversion =  1
   dataVersion =  1
   aclVersion =  0
   ephemeralOwner =  0x00000000000000
   dataLength =  2
----
……


从上面的输出中,我们就可以看到ZooKeeper上的所有节点信息了,其中会看到有个dataLength属性,这个就是该数据节点的数据大小了。排序就可以排查出异常节点了。



本文转自 nileader 51CTO博客,原文链接:http://blog.51cto.com/nileader/983259,如需转载请自行联系原作者


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
1月前
|
运维 安全 数据安全/隐私保护
课1-数据可信流通,从运维信任到技术信任
构建数据可信流通体系,关键在于建立技术信任。该体系基于信任四要素:身份确认、利益依赖、能力预期及行为后果。数据内循环时,持有方负责数据安全;外循环则面临责任主体不清等问题。为实现可信流通,需由运维信任转向技术信任,依托密码学和可信计算技术,并遵循数据二十条政策。技术手段包括可信应用身份、使用权跨域管控、安全分级标准和全链路审计,确保内外循环的数据管控。基础设施——密态天空计算,支持以隐私计算为核心的密态数联网,实现责任界定的全链路数据安全。
|
1月前
|
资源调度 前端开发 数据可视化
R语言参数自抽样法Bootstrap:估计MSE、经验功效、杰克刀Jackknife、非参数自抽样法可视化自测题
R语言参数自抽样法Bootstrap:估计MSE、经验功效、杰克刀Jackknife、非参数自抽样法可视化自测题
|
3天前
|
运维 Java 测试技术
Spring运维之业务层测试数据回滚以及设置测试的随机用例
Spring运维之业务层测试数据回滚以及设置测试的随机用例
4 0
|
24天前
|
存储 运维 安全
导论|数据可信流通 从运维信任到技术信任
《数据二十条》提出建立数据可信流通体系,强调全流程合规与监管,确保数据来源合法、隐私保护和交易规范。数据已成为数字经济的关键要素,但面临身份确认、利益依赖、能力预期和行为后果的信任挑战。安全事件暴露了所有权保障和越权使用风险,外循环模式下责任主体不清、利益不一致等问题突显。为解决信任问题,需从运维信任转向技术信任,利用密码学和可信计算实现身份确认、利益对齐、能力预期和行为审计。关键技术包括可信数字身份验证、使用权跨域管控、安全分级测评和全链路审计。数据密态时代借助密码学保障数据全生命周期的安全可控,降低流通风险,实现广域数据的可信流通。基础设施如密态天空计算将支持这一转型。
|
1月前
|
机器学习/深度学习 运维 安全
# 隐私计算实训营note#1 数据可信流通,从运维信任到技术信任
### 笔者前言&摘要 这一讲的主要内容是从宏观的层面介绍隐私/可信计算的基本概念,技术愿景和实用价值。这部分内容是理解隐私查询(PIR)、隐私机器学习(PPML)和其他的多方安全计算(MPC)技术的远大技术愿景和实际应用价值的基础。视频链接:[第1讲:数据可信流通,从运维信任到技术信任](https://www.bilibili.com/video/BV1sJ4m187vR/)。
|
1月前
|
运维 安全 区块链
隐语训练营第1讲笔记:数据可信流通,从运维信任到技术信任
数据可信流通需要从运维信任转向技术信任,需要安全可信基础设施的融合布局。
48 1
|
1月前
|
运维 安全 区块链
隐私计算训练营第一讲 :数据可信流通,从运维信任到技术信任
构建数据可信流通体系旨在解决数据流转中的安全和信任问题,确保来源可确认、使用范围界定、过程可追溯及风险可控。体系基于身份验证、利益对齐、预期能力和行为审计的技术要求,采用可信计算、区块链、隐私计算等技术,打造从原始到衍生数据的全程可信环境。密态计算技术成为关键,推动数据密态时代的到来,其中密态天空计算是重要的基础设施。
47 0
|
1月前
|
存储 运维 安全
【隐语实训营】第一讲 数据可信流通,从运维信任到技术信任
学习隐语实训营第一讲:数据可信流通,从运维信任到技术信任
40 0
|
1月前
|
监控 负载均衡 Cloud Native
ZooKeeper分布式协调服务详解:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析ZooKeeper分布式协调服务原理,涵盖核心概念如Server、Client、ZNode、ACL、Watcher,以及ZAB协议在一致性、会话管理、Leader选举中的作用。讨论ZooKeeper数据模型、操作、会话管理、集群部署与管理、性能调优和监控。同时,文章探讨了ZooKeeper在分布式锁、队列、服务注册与发现等场景的应用,并在面试方面分析了与其它服务的区别、实战挑战及解决方案。附带Java客户端实现分布式锁的代码示例,助力提升面试表现。
423 2
|
1月前
|
监控 Dubbo 前端开发
快速入门分布式系统与Dubbo+zookeeper Demo
快速入门分布式系统与Dubbo+zookeeper Demo
428 0

热门文章

最新文章