《CDP企业数据云平台从入门到实践》——Hive 迁移到 CDP(3)

简介: 《CDP企业数据云平台从入门到实践》——Hive 迁移到 CDP(3)

《CDP企业数据云平台从入门到实践》——Hive 迁移到 CDP(2) https://developer.aliyun.com/article/1227683?groupCode=ClouderaCDP


二、 使用 Replication Manager 迁移 Hive 数据


2. 使用 RM 迁移 Hive 演示

image.png

image.png

示的环境版本如上图所示。

image.png

CDH群中有Hive中三test对应ORC

Parquet式,示需要将三testCDH5迁移CDP,并进行一

image.png

,进行复制,迁移CDH5的数据。群中行,需要点击--加同行,才能继续

image.png

行的Cloudera Manager果启TLS对应口为71837180使用认的账户和行管理码。完成后会接,接认证之可在复制时在不同集群中进行数据迁

image.png

行的单包括接性、编辑和

-复制-创建计-Hive复制。

image.png

填写以上规信息

HDFS存储Hive数据和数据的可项,是创建表的根目。比如HDFS的目/mypathuser/hive/warehouse/bdr.db/tab1

那么复制/mypath/user/hive/warehouse/bdr.db/tab1

image.png


填写以上资源信息中,复制策略为小集合中的文件复制任务mapper完后再理下一个指根据文件大小实一分

image.png

image.png

image.png

image.png

令详信息具体信息

image.png

从上图信息中可以到,Hive数据复制分为6

第一步:Hive Metastore

第二步:数据文件。

第三步:Hive数据复制,HDFS数据复制,、文件列举文件、将行中,并在目端触HDFS的复制务。

步:Hive Metastore入。

步:通过引发Impala shellInvalidate

步:在目端重Snapshots使其变为可

image.png

历史记行结。图中示了费时间为2分,复制了3期文件3个,失败文件。

复制文件是已经存在。

image.png

此时目已经变为/data/user/hive/warehouse,下面有3,意味着复制成

image.png

default库下也已经存在三。此处发生了几个变化:

第一,的性变为“EXTERNAL”部表

第二,变为/data/user/hive/warehouse

第三,增加external.table.purge性,做数据理的时文件一起删

通过Replication Manager迁移Hive有以下几个

需要企业的许可证。

数据迁移HiveCDP变为表同purge性。

增量数据动创建快,需要在Hive动快。通过比较快的方式对应增量来同增量数据,以减少数据


《CDP企业数据云平台从入门到实践》——Hive 迁移到 CDP(4) https://developer.aliyun.com/article/1227680?groupCode=ClouderaCDP


目录
相关文章
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
41 4
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
52 3
|
1月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
35 2
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
86 0
|
3月前
|
SQL 物联网 数据处理
"颠覆传统,Hive SQL与Flink激情碰撞!解锁流批一体数据处理新纪元,让数据决策力瞬间爆表,你准备好了吗?"
【8月更文挑战第9天】数据时代,实时性和准确性至关重要。传统上,批处理与流处理各司其职,但Apache Flink打破了这一界限,尤其Flink与Hive SQL的结合,开创了流批一体的数据处理新时代。这不仅简化了数据处理流程,还极大提升了效率和灵活性。例如,通过Flink SQL,可以轻松实现流数据与批数据的融合分析,无需在两者间切换。这种融合不仅降低了技术门槛,还为企业提供了更强大的数据支持,无论是在金融、电商还是物联网领域,都将发挥巨大作用。
60 6
|
3月前
|
SQL 关系型数据库 HIVE
实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
SQL 分布式计算 数据处理
实时计算 Flink版产品使用问题之怎么将数据从Hive表中读取并写入到另一个Hive表中
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
SQL 分布式计算 Hadoop
Hive基本概念入门
Hive基本概念入门
46 0
|
3月前
|
SQL 存储 分布式计算