《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(3)

简介: 《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(3)

《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(2) https://developer.aliyun.com/article/1226637?groupCode=ClouderaCDP


三、 HBase 迁移演示


从 CDH 的 HBase 迁移数据到 CDP 的 HBase 中。演示源和目标都启用了 Kerberos

的安全集群中。


测试环境:


• 源集群 CDH6,启用 Kerberos

• 目标集群 CDP7.1.6,启用 Kerberos


1. 配置两个集群的互信


1) 分别在两个集群 krb5.conf 中添加 realms。

image.png

集群:CDH.COM;目标集群:GROCERY.COM

2) 为两个 KDC 创建相同的 krbtgt 用户和密码。

image.png

3) 互信验证,两个集群都能正常访问表示互相配置成功。

image.png

4) 在 CM 界面>Administration>配置>搜索 domain>添加 Domain Name(s)。

image.png

5) 在 CM 界面>Cluster>HDFS>配置>搜索 Kerberos>添加受信任的 Kerberos 域。

image.png

6) 重启配置生效。


2. 在源端端启Replication


image.png

3. Ranger 进行授权


HDFS 权限给分做数据/user 读写限;对复制用etl_user /hbase 读写

image.png


HDFS 中,Ranger 管理能,需要去启能,否则Ranger 置将无法


image.png

HBase 表权限给分做数据HBase 赋予所有读、创建行、管理的限.


image.png

4. 模拟


1) 在源端创建表,表中有 2 条记录。

image.png

2) 源端启用 Replication。

image.png

3) 在目标端创建和源端同样的表,同时启用KEEP_DELETED_CELLS=>'true'参数来复制。

image.png

4) 在源集群的 HBase Shell 中运行 add_peer 命令,将目标集群添加为 peer,然进行 disable

image.png

5) 在源端创建并查看快照。

image.png

也可以在 CM 中做

image.png

6) 在源集群的 HBase Shell 中运行 ExportSnapshot 命令,将快照从源端导出到目标端。

image.png

7) 启用源集群和目标集群中的 peer。

image.png

8) 在目标端 disable 掉表,进行数据恢复;然后将表 enable,查看表数据。

image.png

9) 在源端模拟增加数据,在目标端可以看到数据会持续同步过来。

image.png



相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
6月前
|
监控 安全 数据可视化
java基于微服务的智慧工地管理云平台SaaS源码 数据大屏端 APP移动端
围绕施工现场人、机、料、法、环、各个环节,“智慧工地”将传统建筑施工与大数据物联网无缝结合集成多个智慧应用子系统,施工数据云端整合分析,提供专业、先进、安全的智慧工地解决方案。
163 1
|
9天前
|
缓存 监控 Shell
如何使用 HBase Shell 进行数据的实时监控和备份?
如何使用 HBase Shell 进行数据的实时监控和备份?
|
9天前
|
Shell 分布式数据库 Hbase
如何使用 HBase Shell 进行数据的批量导入和导出?
如何使用 HBase Shell 进行数据的批量导入和导出?
|
4月前
|
存储 分布式数据库 数据库
Hbase学习二:Hbase数据特点和架构特点
Hbase学习二:Hbase数据特点和架构特点
80 0
|
4月前
|
缓存 监控 Shell
使用 HBase Shell 进行数据的实时监控和备份
使用 HBase Shell 进行数据的实时监控和备份
|
4月前
|
Shell 分布式数据库 Hbase
使用 HBase Shell 进行数据的批量导入和导出
使用 HBase Shell 进行数据的批量导入和导出
594 6
|
3月前
|
存储 分布式计算 分布式数据库
《HBase MapReduce之旅:我的学习笔记与心得》——跟随我的步伐,一同探索HBase世界,揭开MapReduce的神秘面纱,分享那些挑战与收获,让你在数据的海洋里畅游无阻!
【8月更文挑战第17天】HBase是Apache顶级项目,作为Bigtable的开源版,它是一个非关系型、分布式数据库,具备高可扩展性和性能。结合HDFS存储和MapReduce计算框架,以及Zookeeper协同服务,HBase支持海量数据高效管理。MapReduce通过将任务拆解并在集群上并行执行,极大提升处理速度。学习HBase MapReduce涉及理解其数据模型、编程模型及应用实践,虽然充满挑战,但收获颇丰,对职业发展大有裨益。
46 0
|
4月前
|
存储 Java 分布式数据库
HBase构建图片视频数据的统一存储检索
HBase构建图片视频数据的统一存储检索
|
6月前
|
存储 NoSQL 分布式数据库
【HBase入门与实战】一文搞懂HBase!
该文档介绍了HBase,一种高吞吐量的NoSQL数据库,适合处理大规模数据。HBase具备快速读写、列式存储和天然支持集群部署的特点,常用于高并发场景。NoSQL与关系型数据库的主要区别在于数据模型、查询语言和可伸缩性。HBase的物理架构包括Client、Zookeeper、HMaster和RegionServer,其中RegionServer管理数据存储。HBase的读写流程利用MemStore和Bloom Filter提高效率。此外,文档还提到了HBase的应用,如时间序列数据、消息传递和内容服务。
739 1
【HBase入门与实战】一文搞懂HBase!
|
6月前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版操作报错合集之使用 Event Time Temporal Join 关联多个 HBase 后,Kafka 数据的某个字段变为 null 是什么原因导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
129 0