zookeeper数据存储及查看hbase信息

本文涉及的产品
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: zookeeper数据存储及查看hbase信息1.zookeeper数据存储:1.1内存数据存储、磁盘数据存储. 内存数据存储: 数据模型是一棵树。

zookeeper数据存储及查看hbase信息

1.zookeeper数据存储:

1.1内存数据存储、磁盘数据存储.

 内存数据存储: 
 数据模型是一棵树。包括所有节点路径,节点信息,ACL等。
 DataTree:所有节点信息
 DataNode:数据存储最小单元

1.2磁盘数据存储:

目录在配置zookeeper的文件中。
ls /tmp/zookeeper/
myid  version-2/zookeeper_server.pid 
其中version-2是事务日志格式版本号,内部文件为事务日志
ls /tmp/zookeeper/version-2/
acceptedEpoch  currentEpoch  log.100000001  log.200000001  snapshot.100000000
查看日志:java -cp ..jar org.apache.zookeeper.server.LogFormatter /tmp/zookeeper/version-2/log.100000001

1.3其中snapshot.100000000为某一时刻的全量内存数据内容

2.zookeeper-shell命令式使用:

进入zookeeper:/zookeeper/bin/zkCli.sh

查看使用命令:help

ZooKeeper -server host:port cmd args

    stat path [watch]
    
    set path data [version]
    
    ls path [watch]
    
    delquota [-n|-b] path
    
    ls2 path [watch]
    
    setAcl path acl
    
    setquota -n|-b val path
    
    history 
    
    redo cmdno
    
    printwatches on|off
    
    delete path [version]
    
    sync path
    
    listquota path
    
    rmr path
    
    get path [watch]
    
    create [-s] [-e] path data acl
    
    addauth scheme auth
    
    quit 
    
    getAcl path
    
    close 
    
    connect host:port
    

ls:查看当前 ZooKeeper 中所包含的内容

ls2:查看当前节点数据并能看到更新次数等数据

create:创建一个新的 znode

get:获取znode数据信息

rmr:删除该节点

...........

查看节点acl信息:

[zk: localhost:2181(CONNECTED) 16] getAcl /hbase
'world,'anyone
: cdrwa

查看zookeeper根目录存储:

ls /根目录:
zookeeper   hbase两个节点

查看zookeeper节点目录

ls2 /zookeeper
[quota]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

查看hbase节点信息:

ls2 /hbasehbase节点
[replication, meta-region-server, rs, splitWAL, backup-masters, table-lock, flush-table-proc, region-in-transition, online-snapshot, switch, master, running, recovering-regions, draining, namespace, hbaseid, table]
cZxid = 0x100000002
ctime = Mon Nov 27 18:08:47 CST 2017
mZxid = 0x100000002
mtime = Mon Nov 27 18:08:47 CST 2017
pZxid = 0x200000430
cversion = 49
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 17

查看hbase集群在zookeeper记录的信息,比如:regionserver1-slave-1,regionserver2-slave-2

ls2 /hbase/rs
[slave-2,16020,1511853261863, slave-1,16020,1511853261718]
cZxid = 0x100000004
ctime = Mon Nov 27 18:08:47 CST 2017
mZxid = 0x100000004
mtime = Mon Nov 27 18:08:47 CST 2017
pZxid = 0x200000426
cversion = 22
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2

表锁节点会有所有表。

[zk: localhost:2181(CONNECTED) 10] ls2 /hbase/table-lock
[dd, hbase:namespace]
cZxid = 0x100000009
ctime = Mon Nov 27 18:08:47 CST 2017
mZxid = 0x100000009
mtime = Mon Nov 27 18:08:47 CST 2017
pZxid = 0x20000046f
cversion = 23
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 23

查看所有表

[zk: localhost:2181(CONNECTED) 11] ls2 /hbase/table
[aa,hbase:meta, hbase:namespace]
cZxid = 0x100000006
ctime = Mon Nov 27 18:08:47 CST 2017
mZxid = 0x100000006
mtime = Mon Nov 27 18:08:47 CST 2017
pZxid = 0x200000478
cversion = 56
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 24

查看hbase的meta表信息,内涵server信息。

[zk: localhost:2181(CONNECTED) 14] get /hbase/table/hbase:meta
�master:16000�S�!��X�PBUF
cZxid = 0x200000034
ctime = Mon Nov 27 18:16:58 CST 2017
mZxid = 0x200000035
mtime = Mon Nov 27 18:16:58 CST 2017
pZxid = 0x200000034
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 31
numChildren = 0
相关实践学习
DataV Board用户界面概览
本实验带领用户熟悉DataV Board这款可视化产品的用户界面
阿里云实时数仓实战 - 项目介绍及架构设计
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
目录
相关文章
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
31 3
zookeeper查看版本的一些基本信息
zookeeper查看版本的一些基本信息
729 0
|
6月前
|
存储 分布式计算 分布式数据库
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
51 0
|
分布式数据库 Hbase
96 hbase依赖zookeeper
96 hbase依赖zookeeper
46 0
zookeeper中节点信息的查看方式
zookeeper中节点信息的查看方式
748 0
|
存储 分布式计算 监控
分布式数据库HBase的基本概念和架构之基本架构的ZooKeeper
分布式数据库HBase是一个开源的分布式数据库系统,是Apache Hadoop生态系统的重要组成部分。
445 0
|
存储 SQL 分布式计算
大数据数据存储的数据库的非关系型数据库之HBase
当今大数据时代的到来,数据库的存储问题成为了一个主要考虑点。传统的关系型数据库因其表结构和SQL语言特性,限制了其在大数据场景下的应用。非关系型数据库(NoSQL)的应运而生,而其中的HBase数据库便是备受关注的一种。
155 0
|
存储 分布式计算 资源调度
使用内置zookeeper搭建Hbase集群
使用内置zookeeper搭建Hbase集群
|
存储 分布式计算 资源调度
搭建基于Zookeeper服务的Hbase集群
搭建基于Zookeeper服务的Hbase集群
|
SQL 分布式计算 安全
hadoop+hbase+zookeeper+hive
hadoop+hbase+zookeeper+hive
246 0
hadoop+hbase+zookeeper+hive