场景描述
客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本），涉及到数据订正更新步骤。
解决问题
- Hive数据仓库的数据迁移方案
- Hive元数据库的迁移方案
- Hive跨版本迁移后的数据订正
产品列表
- 专有网络VPC
- 弹性计算ECS
- VPN网关
- 弹性MapReduce
- 对象存储OSS
自建Hive数据仓库迁移到阿里云EMR
2020-02-18
578
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本），涉及到数据订正更新步骤。
场景描述
解决问题
产品列表
目录
相关文章
|
6天前
|
机器学习/深度学习
分布式计算
大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
64
15
15
|
1月前
|
SQL
弹性计算
分布式计算
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能，基于 EMR 托管弹性伸缩功能，您可以指定集群的最小和最大计算限制，EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样，自动调整集群大小，以获得最佳性能和资源利用率。
122
15
15
|
4月前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用，涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势，以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。
368
8
8
|
4月前
|
SQL
存储
缓存
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本，该版本不仅基于开源 StarRocks 进行了全面优化，实现了存储与计算解耦架构，还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
495
6
6
|
4月前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
讲师焦明烨介绍了StarRocks的数据湖能力，如何使用阿里云EMR StarRocks构建基于Paimon的极速实时湖仓，StarRocks与Paimon的最新进展及未来规划。
191
3
3
|
5月前
|
SQL
分布式计算
Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化，内置 Fusion Engine，100% 兼容开源 Spark 编程接口，相比于开源 Spark 性能提升300%；提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验！
224
3
3
|
4月前
|
SQL
分布式计算
关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
140
3
3
|
5月前
|
SQL
存储
NoSQL
|
6月前
|
存储
分布式计算
大数据
大数据革新在即，阿里云EMR如何布局DeltaLake引领行业潮流？
【8月更文挑战第26天】大数据时代，实时处理与分析能力对企业至关重要。Delta Lake 作为高性能、可靠且支持 ACID 事务的开源存储层，已成为业界焦点。阿里云 EMR 深度布局 Delta Lake，计划深化集成、强化数据安全、优化实时性能，并加强生态建设与社区贡献。通过与 Spark 的无缝对接及持续的技术创新，阿里云 EMR 致力于提供更高效、安全的数据湖解决方案，引领大数据处理领域的发展新方向。
70
3
3
|
6月前
|
安全
数据管理
大数据
数据湖的未来已来：EMR DeltaLake携手阿里云DLF，重塑企业级数据处理格局
【8月更文挑战第26天】在大数据处理领域，阿里云EMR与DeltaLake的集成增强了数据处理能力。进一步结合阿里云DLF服务，实现了数据湖的一站式管理，自动化处理元数据及权限控制，简化管理流程。集成后的方案提升了数据安全性、可靠性和性能优化水平，让用户更专注业务价值。这一集成标志着数据湖技术向着自动化、安全和高效的未来迈出重要一步。
131
2
2
热门文章
最新文章
1
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
2
大数据揭秘：从数据湖到数据仓库的全面解析
3
AnalyticDB MySQL版：云原生离在线一体化数据仓库支持实时业务决策
4
AnalyticDB PostgreSQL版：Data+AI 时代的企业级数据仓库
5
云原生数据仓库AnalyticDB：深度智能化的数据分析洞察
6
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
7
EMR Serverless StarRocks 全面升级：重新定义实时湖仓分析
8
EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
9
Apache Doris 创始人：何为“现代化”的数据仓库？
10
EMR-StarRocks 白皮书来啦！
1
了解Hive 工作原理：Hive 是如何工作的？
65
2
【赵渝强老师】Hive的分区表
340
3
【赵渝强老师】Hive的内部表与外部表
150
4
【赵渝强老师】Hive的体系架构
140
5
Hive和Pig的区别是什么？如何选择？
95
6
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
105
7
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
165
8
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
140
9
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
79
10
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
86