zookeeper数据存储及查看hbase信息

简介: zookeeper数据存储及查看hbase信息1.zookeeper数据存储:1.1内存数据存储、磁盘数据存储. 内存数据存储: 数据模型是一棵树。

zookeeper数据存储及查看hbase信息

1.zookeeper数据存储:

1.1内存数据存储、磁盘数据存储.

 内存数据存储: 
 数据模型是一棵树。包括所有节点路径,节点信息,ACL等。
 DataTree:所有节点信息
 DataNode:数据存储最小单元

1.2磁盘数据存储:

目录在配置zookeeper的文件中。
ls /tmp/zookeeper/
myid  version-2/zookeeper_server.pid 
其中version-2是事务日志格式版本号,内部文件为事务日志
ls /tmp/zookeeper/version-2/
acceptedEpoch  currentEpoch  log.100000001  log.200000001  snapshot.100000000
查看日志:java -cp ..jar org.apache.zookeeper.server.LogFormatter /tmp/zookeeper/version-2/log.100000001

1.3其中snapshot.100000000为某一时刻的全量内存数据内容

2.zookeeper-shell命令式使用:

进入zookeeper:/zookeeper/bin/zkCli.sh

查看使用命令:help

ZooKeeper -server host:port cmd args

    stat path [watch]
    
    set path data [version]
    
    ls path [watch]
    
    delquota [-n|-b] path
    
    ls2 path [watch]
    
    setAcl path acl
    
    setquota -n|-b val path
    
    history 
    
    redo cmdno
    
    printwatches on|off
    
    delete path [version]
    
    sync path
    
    listquota path
    
    rmr path
    
    get path [watch]
    
    create [-s] [-e] path data acl
    
    addauth scheme auth
    
    quit 
    
    getAcl path
    
    close 
    
    connect host:port
    

ls:查看当前 ZooKeeper 中所包含的内容

ls2:查看当前节点数据并能看到更新次数等数据

create:创建一个新的 znode

get:获取znode数据信息

rmr:删除该节点

...........

查看节点acl信息:

[zk: localhost:2181(CONNECTED) 16] getAcl /hbase
'world,'anyone
: cdrwa

查看zookeeper根目录存储:

ls /根目录:
zookeeper   hbase两个节点

查看zookeeper节点目录

ls2 /zookeeper
[quota]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

查看hbase节点信息:

ls2 /hbasehbase节点
[replication, meta-region-server, rs, splitWAL, backup-masters, table-lock, flush-table-proc, region-in-transition, online-snapshot, switch, master, running, recovering-regions, draining, namespace, hbaseid, table]
cZxid = 0x100000002
ctime = Mon Nov 27 18:08:47 CST 2017
mZxid = 0x100000002
mtime = Mon Nov 27 18:08:47 CST 2017
pZxid = 0x200000430
cversion = 49
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 17

查看hbase集群在zookeeper记录的信息,比如:regionserver1-slave-1,regionserver2-slave-2

ls2 /hbase/rs
[slave-2,16020,1511853261863, slave-1,16020,1511853261718]
cZxid = 0x100000004
ctime = Mon Nov 27 18:08:47 CST 2017
mZxid = 0x100000004
mtime = Mon Nov 27 18:08:47 CST 2017
pZxid = 0x200000426
cversion = 22
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2

表锁节点会有所有表。

[zk: localhost:2181(CONNECTED) 10] ls2 /hbase/table-lock
[dd, hbase:namespace]
cZxid = 0x100000009
ctime = Mon Nov 27 18:08:47 CST 2017
mZxid = 0x100000009
mtime = Mon Nov 27 18:08:47 CST 2017
pZxid = 0x20000046f
cversion = 23
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 23

查看所有表

[zk: localhost:2181(CONNECTED) 11] ls2 /hbase/table
[aa,hbase:meta, hbase:namespace]
cZxid = 0x100000006
ctime = Mon Nov 27 18:08:47 CST 2017
mZxid = 0x100000006
mtime = Mon Nov 27 18:08:47 CST 2017
pZxid = 0x200000478
cversion = 56
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 24

查看hbase的meta表信息,内涵server信息。

[zk: localhost:2181(CONNECTED) 14] get /hbase/table/hbase:meta
�master:16000�S�!��X�PBUF
cZxid = 0x200000034
ctime = Mon Nov 27 18:16:58 CST 2017
mZxid = 0x200000035
mtime = Mon Nov 27 18:16:58 CST 2017
pZxid = 0x200000034
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 31
numChildren = 0
相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
阿里云实时数仓实战 - 用户行为数仓搭建
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求:熟练掌握 SQL 语法熟悉 Linux 命令,对 Hadoop 大数据体系有一定的了解   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
目录
相关文章
zookeeper查看版本的一些基本信息
zookeeper查看版本的一些基本信息
1071 0
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
306 3
|
存储 分布式计算 分布式数据库
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
318 0
|
分布式数据库 Hbase
96 hbase依赖zookeeper
96 hbase依赖zookeeper
192 0
|
SQL 分布式计算 安全
hadoop+hbase+zookeeper+hive
hadoop+hbase+zookeeper+hive
507 0
hadoop+hbase+zookeeper+hive
|
分布式计算 安全 Hadoop
hadoop+hbase+zookeeper安装指南
hadoop+hbase+zookeeper安装指南
708 0
hadoop+hbase+zookeeper安装指南
|
Linux 分布式数据库 Apache
VMware创建Linux虚拟机之(四)ZooKeeper&HBase完全分布式安装 下
VMware创建Linux虚拟机之(四)ZooKeeper&HBase完全分布式安装 下
576 0
VMware创建Linux虚拟机之(四)ZooKeeper&HBase完全分布式安装 下
|
分布式计算 Hadoop Java
VMware创建Linux虚拟机之(四)ZooKeeper&HBase完全分布式安装 上
VMware创建Linux虚拟机之(四)ZooKeeper&HBase完全分布式安装 上
562 0
VMware创建Linux虚拟机之(四)ZooKeeper&HBase完全分布式安装 上
zookeeper中节点信息的查看方式
zookeeper中节点信息的查看方式
1589 0
|
存储 分布式计算 监控
分布式数据库HBase的基本概念和架构之基本架构的ZooKeeper
分布式数据库HBase是一个开源的分布式数据库系统,是Apache Hadoop生态系统的重要组成部分。
724 0