《CDP企业数据云平台从入门到实践》——Hive 迁移到 CDP(3)

简介: 《CDP企业数据云平台从入门到实践》——Hive 迁移到 CDP(3)

《CDP企业数据云平台从入门到实践》——Hive 迁移到 CDP(2) https://developer.aliyun.com/article/1227683?groupCode=ClouderaCDP


二、 使用 Replication Manager 迁移 Hive 数据


2. 使用 RM 迁移 Hive 演示

image.png

image.png

示的环境版本如上图所示。

image.png

CDH群中有Hive中三test对应ORC

Parquet式,示需要将三testCDH5迁移CDP,并进行一

image.png

,进行复制,迁移CDH5的数据。群中行,需要点击--加同行,才能继续

image.png

行的Cloudera Manager果启TLS对应口为71837180使用认的账户和行管理码。完成后会接,接认证之可在复制时在不同集群中进行数据迁

image.png

行的单包括接性、编辑和

-复制-创建计-Hive复制。

image.png

填写以上规信息

HDFS存储Hive数据和数据的可项,是创建表的根目。比如HDFS的目/mypathuser/hive/warehouse/bdr.db/tab1

那么复制/mypath/user/hive/warehouse/bdr.db/tab1

image.png


填写以上资源信息中,复制策略为小集合中的文件复制任务mapper完后再理下一个指根据文件大小实一分

image.png

image.png

image.png

image.png

令详信息具体信息

image.png

从上图信息中可以到,Hive数据复制分为6

第一步:Hive Metastore

第二步:数据文件。

第三步:Hive数据复制,HDFS数据复制,、文件列举文件、将行中,并在目端触HDFS的复制务。

步:Hive Metastore入。

步:通过引发Impala shellInvalidate

步:在目端重Snapshots使其变为可

image.png

历史记行结。图中示了费时间为2分,复制了3期文件3个,失败文件。

复制文件是已经存在。

image.png

此时目已经变为/data/user/hive/warehouse,下面有3,意味着复制成

image.png

default库下也已经存在三。此处发生了几个变化:

第一,的性变为“EXTERNAL”部表

第二,变为/data/user/hive/warehouse

第三,增加external.table.purge性,做数据理的时文件一起删

通过Replication Manager迁移Hive有以下几个

需要企业的许可证。

数据迁移HiveCDP变为表同purge性。

增量数据动创建快,需要在Hive动快。通过比较快的方式对应增量来同增量数据,以减少数据


《CDP企业数据云平台从入门到实践》——Hive 迁移到 CDP(4) https://developer.aliyun.com/article/1227680?groupCode=ClouderaCDP


目录
相关文章
|
23天前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
25 4
|
23天前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
43 3
|
23天前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
27 2
|
22天前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
61 0
|
3月前
|
SQL 物联网 数据处理
"颠覆传统,Hive SQL与Flink激情碰撞!解锁流批一体数据处理新纪元,让数据决策力瞬间爆表,你准备好了吗?"
【8月更文挑战第9天】数据时代,实时性和准确性至关重要。传统上,批处理与流处理各司其职,但Apache Flink打破了这一界限,尤其Flink与Hive SQL的结合,开创了流批一体的数据处理新时代。这不仅简化了数据处理流程,还极大提升了效率和灵活性。例如,通过Flink SQL,可以轻松实现流数据与批数据的融合分析,无需在两者间切换。这种融合不仅降低了技术门槛,还为企业提供了更强大的数据支持,无论是在金融、电商还是物联网领域,都将发挥巨大作用。
56 6
|
4月前
|
弹性计算 Linux 网络安全
使用阿里云服务器迁移中心SMC将其他云平台业务迁移至阿里云教程参考
现在越来越多的个人和企业用户选择将其他云平台或者服务商的业务迁移到阿里云,但是如何快速且安全完成迁移是很多用户比较关注的问题,我们可以选择使用阿里云提供的服务器迁移中心(Server Migration Center,简称SMC),这个产品是阿里云提供给您的迁移平台,专注于提供能力普惠、体验一致、效率至上的迁移服务,满足您在阿里云的迁移需求。本文为大家展示使用阿里云服务器迁移中心SMC将其他云平台业务迁移至阿里云的教程,以供参考。
使用阿里云服务器迁移中心SMC将其他云平台业务迁移至阿里云教程参考
|
3月前
|
SQL 关系型数据库 HIVE
实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
SQL 分布式计算 数据处理
实时计算 Flink版产品使用问题之怎么将数据从Hive表中读取并写入到另一个Hive表中
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
SQL 存储 分布式计算