Hbase 无法创建带有snappy压缩属性的表-阿里云开发者社区

开发者社区> 余二五> 正文

Hbase 无法创建带有snappy压缩属性的表

简介:
+关注继续查看

一、要求

在Hbase 数据库中创建带有snappy压缩属性的表。


二、登陆到hbase 数据库执行建表操作

hbase(main):016:0> create 'dcs:t_dev_history',{NAME => 'f', DATA_BLOCK_ENCODING => 'PREFIX_TREE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => '2678400', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}


channel 6: open failed: administratively prohibited: open failed


之前创建的表都没有使用snappy压缩,怀疑是snappy没有安装


三、检查所有hbase节点

Master1节点snappy安装正确

[hadoop@hadoop-test-Master1 lib]$ cd $HBASE_HOME/lib/native/Linux-amd64-64/

[hadoop@hadoop-test-Master1 Linux-amd64-64]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so         libsnappy.so


Master2节点snappy安装错误,猜测当时安装的时候scp的路径错误

[hadoop@hadoop-test-Master2 ~]$ cd /var/lib/hbase/lib/native/ --发现没有Linux-amd64-64 目录

[hadoop@hadoop-test-Master2 native]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so  

       libsnappy.so        


四、处理过程


1.把文件传输到指定节点

 scp -rp Linux-amd64-64 hadoop-test-Master2:/var/lib/hbase/lib/native/

 scp -rp Linux-amd64-64 hadoop-test-Node1:/var/lib/hbase/lib/native/

 

2.然后重启hbase集群

 

./stop-hbase.sh 

./start-hbase.sh 


3.重新创建表成功。


五、小结

  1. 作为一名dba,做完相关的操作一定要验证,一定要验证,要有严谨的态度。

  2. 遇到很多问题根本不是技术问题,而是有些人从来都不用心,得过且过。

  3. 压缩在hadoop和hbase中是一个很好的节约空间的方式,值得提倡,尤其是在经费紧张的情况下。

  4. snappy需要单独安装,并不是安装hadoop自带的,需要注意。











本文转自 roidba 51CTO博客,原文链接:http://blog.51cto.com/roidba/1915081,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
oracl使用DataBase Configuration Assistant创建、删除数据库
原文:oracl使用DataBase Configuration Assistant创建、删除数据库可以使用DataBase Configuration Assistant来创建一个心得数据库。Database Configuration Assistant简称是DBCA,是创建、配置以及管理数据库的一个工具。
1213 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
6484 0
用phoneGap创建App
安装phoneGap或者cordova npm install -g phonegap npm install -g cordova 如果安装不成功,可以尝试用以下命令 npm config set registry http://registry.
1465 0
python3 -属性(property)
Python中有一个被称为属性函数(property)的小概念,它可以做一些有用的事情。在这篇文章中,我们将看到如何能做以下几点: 将类方法转换为只读属性 重新实现一个属性的setter和...
835 0
+关注
12613
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载