《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(3)

简介: 《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(3)

《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(2) https://developer.aliyun.com/article/1226637?groupCode=ClouderaCDP


三、 HBase 迁移演示


从 CDH 的 HBase 迁移数据到 CDP 的 HBase 中。演示源和目标都启用了 Kerberos

的安全集群中。


测试环境:


• 源集群 CDH6,启用 Kerberos

• 目标集群 CDP7.1.6,启用 Kerberos


1. 配置两个集群的互信


1) 分别在两个集群 krb5.conf 中添加 realms。

image.png

集群:CDH.COM;目标集群:GROCERY.COM

2) 为两个 KDC 创建相同的 krbtgt 用户和密码。

image.png

3) 互信验证,两个集群都能正常访问表示互相配置成功。

image.png

4) 在 CM 界面>Administration>配置>搜索 domain>添加 Domain Name(s)。

image.png

5) 在 CM 界面>Cluster>HDFS>配置>搜索 Kerberos>添加受信任的 Kerberos 域。

image.png

6) 重启配置生效。


2. 在源端端启Replication


image.png

3. Ranger 进行授权


HDFS 权限给分做数据/user 读写限;对复制用etl_user /hbase 读写

image.png


HDFS 中,Ranger 管理能,需要去启能,否则Ranger 置将无法


image.png

HBase 表权限给分做数据HBase 赋予所有读、创建行、管理的限.


image.png

4. 模拟


1) 在源端创建表,表中有 2 条记录。

image.png

2) 源端启用 Replication。

image.png

3) 在目标端创建和源端同样的表,同时启用KEEP_DELETED_CELLS=>'true'参数来复制。

image.png

4) 在源集群的 HBase Shell 中运行 add_peer 命令,将目标集群添加为 peer,然进行 disable

image.png

5) 在源端创建并查看快照。

image.png

也可以在 CM 中做

image.png

6) 在源集群的 HBase Shell 中运行 ExportSnapshot 命令,将快照从源端导出到目标端。

image.png

7) 启用源集群和目标集群中的 peer。

image.png

8) 在目标端 disable 掉表,进行数据恢复;然后将表 enable,查看表数据。

image.png

9) 在源端模拟增加数据,在目标端可以看到数据会持续同步过来。

image.png



相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
6月前
|
SQL 存储 分布式数据库
【通过Hive清洗、处理和计算原始数据,Hive清洗处理后的结果,将存入Hbase,海量数据随机查询场景从HBase查询数据 】
【通过Hive清洗、处理和计算原始数据,Hive清洗处理后的结果,将存入Hbase,海量数据随机查询场景从HBase查询数据 】
|
2月前
|
机器学习/深度学习 算法 数据可视化
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
103 0
|
3月前
|
分布式计算 分布式数据库 API
Spark与HBase的集成与数据访问
Spark与HBase的集成与数据访问
|
3月前
|
分布式数据库 Hbase
HBase的数据删除是如何进行的?
HBase的数据删除是如何进行的?
103 0
|
4月前
|
分布式数据库 Hbase
HBase 清空表数据
HBase 清空表数据
49 0
|
4月前
|
存储 分布式计算 分布式数据库
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
27 0
|
4月前
|
存储 JSON 监控
云上之旅:将内网网络监控软件迁移到AWS云平台
在当今数字化时代,企业对于网络监控的需求愈发迫切。为了更好地管理内网网络,许多企业选择将监控软件迁移到云平台。本文将介绍如何将内网网络监控软件迁移到AWS云平台,并探讨监控到的数据如何自动提交到网站。
217 0
|
11月前
|
消息中间件 运维 安全
带你读《2022龙蜥社区全景白皮书》——6.2.1 龙蜥社区助力全国首个政府采购云平台完成CentOS迁移 - 政采云
带你读《2022龙蜥社区全景白皮书》——6.2.1 龙蜥社区助力全国首个政府采购云平台完成CentOS迁移 - 政采云
|
11月前
|
SQL 安全 大数据
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (1)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (1)
473 0
|
11月前
|
弹性计算 分布式计算 安全
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (2)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (2)
215 0