利用EMR Hive关联云HBase-阿里云开发者社区

开发者社区> 巴客> 正文

利用EMR Hive关联云HBase

简介:
+关注继续查看

云HBase需要借助外部Hive对多表进行关联分析,后续云HBase将集成Spark,更加建议使用Spark分析HBase数据。本文简单介绍下如何利用EMR的Hive关联云HBase的表。

1. 环境准备

  • 购买按量计费的EMR集群,配置依据实际场景确定,注意要和EMR处在同一VPC下,建议不需开启高可用。
  • 由于云HBASE的HDFS端口默认是不开的,需要联系工作人员开通。
  • 将EMR所有节点的IP加入到云HBase白名单
  • 获取云HBase的zookeeper访问地址,可在云HBase控制台查看。

2. 修改配置

  • 进入hive配置目录/etc/ecm/hive-conf/
  • 修改hbase-site.xml,将hbase.zookeeper.quorum修改为云HBase的zookeeper访问连接

          <property>
               <name>hbase.zookeeper.quorum</name>
               <value>hb-bp1mhyea7754bpigt-001.hbase.rds.aliyuncs.com,hb-bp1mhyea7754bpigt-002.hbase.rds.aliyuncs.com,hb-bp1mhyea7754bpigt-003.hbase.rds.aliyuncs.com</value>
          </property>
    

3. Hive中创建云HBase表

如果HBase表不存在,可在Hive中直接创建云HBase关联表

  • 进入hive cli命令行
    image
  • 创建HBase表

    CREATE TABLE hive_hbase_table(key int, value string)

    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
    TBLPROPERTIES ("hbase.table.name" = "hive_hbase_table", "hbase.mapred.output.outputtable" = "hive_hbase_table");
  • Hive中向hbase插入数据

    insert into hive_hbase_table values(212,'bab');
    image

  • 查看云HBase表,hbase表已创建,数据也已写入
    image

image

  • 在HBase中写入数据,并在Hive中查看
    image

在Hive中查看:
image

  • Hive删除表,HBase表也删除
    image

查看hbase表,报错不存在表
image

如果HBase表已存在,可在Hive中HBase外表进行关联,外部表在删除时不影响HBase已创建表

  • 云hbase中创建hbase表,并put测试数据
    image
  • Hive中创建HBase外部关联表,并查看数据
    image
  • 删除Hive表不影响HBase已存在表
    image

image

4. 总结

Hive更多操作HBase步骤,可参考https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
如果使用ECS自建mr集群的Hive时,操作步骤跟EMR操作类似,需要注意的是自建Hive的hbase-site.xml部分配置项可能与云HBase不一致,简单来说网络和端口开放后,只保留hbase.zookeeper.quorum即可与云Hbase进行关联。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Effective STL 为包含指针的关联容器指定比较类型
// 为包含指针的关联容器指定比较类型.cpp : 定义控制台应用程序的入口点。 // #include "stdafx.h" #include #include #include using namespace std; struct StringPtrLess: p...
654 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
3503 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4623 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
8271 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9517 0
阿里云服务器远程登录用户名和密码的查询方法
阿里云服务器远程连接登录用户名和密码在哪查看?阿里云服务器默认密码是什么?云服务器系统不同默认用户名不同
849 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
4271 0
+关注
巴客
研究spark/hive/hbase相关技术
6
文章
84
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载