利用EMR Hive关联云HBase-阿里云开发者社区

开发者社区> 数据库> 正文

利用EMR Hive关联云HBase

简介:

云HBase需要借助外部Hive对多表进行关联分析,后续云HBase将集成Spark,更加建议使用Spark分析HBase数据。本文简单介绍下如何利用EMR的Hive关联云HBase的表。

1. 环境准备

  • 购买按量计费的EMR集群,配置依据实际场景确定,注意要和EMR处在同一VPC下,建议不需开启高可用。
  • 由于云HBASE的HDFS端口默认是不开的,需要联系工作人员开通。
  • 将EMR所有节点的IP加入到云HBase白名单
  • 获取云HBase的zookeeper访问地址,可在云HBase控制台查看。

2. 修改配置

  • 进入hive配置目录/etc/ecm/hive-conf/
  • 修改hbase-site.xml,将hbase.zookeeper.quorum修改为云HBase的zookeeper访问连接

          <property>
               <name>hbase.zookeeper.quorum</name>
               <value>hb-bp1mhyea7754bpigt-001.hbase.rds.aliyuncs.com,hb-bp1mhyea7754bpigt-002.hbase.rds.aliyuncs.com,hb-bp1mhyea7754bpigt-003.hbase.rds.aliyuncs.com</value>
          </property>
    

3. Hive中创建云HBase表

如果HBase表不存在,可在Hive中直接创建云HBase关联表

  • 进入hive cli命令行
    image
  • 创建HBase表

    CREATE TABLE hive_hbase_table(key int, value string)

    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
    TBLPROPERTIES ("hbase.table.name" = "hive_hbase_table", "hbase.mapred.output.outputtable" = "hive_hbase_table");
  • Hive中向hbase插入数据

    insert into hive_hbase_table values(212,'bab');
    image

  • 查看云HBase表,hbase表已创建,数据也已写入
    image

image

  • 在HBase中写入数据,并在Hive中查看
    image

在Hive中查看:
image

  • Hive删除表,HBase表也删除
    image

查看hbase表,报错不存在表
image

如果HBase表已存在,可在Hive中HBase外表进行关联,外部表在删除时不影响HBase已创建表

  • 云hbase中创建hbase表,并put测试数据
    image
  • Hive中创建HBase外部关联表,并查看数据
    image
  • 删除Hive表不影响HBase已存在表
    image

image

4. 总结

Hive更多操作HBase步骤,可参考https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
如果使用ECS自建mr集群的Hive时,操作步骤跟EMR操作类似,需要注意的是自建Hive的hbase-site.xml部分配置项可能与云HBase不一致,简单来说网络和端口开放后,只保留hbase.zookeeper.quorum即可与云Hbase进行关联。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章