场景描述
客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本），涉及到数据订正更新步骤。
解决问题
- Hive数据仓库的数据迁移方案
- Hive元数据库的迁移方案
- Hive跨版本迁移后的数据订正
产品列表
- 专有网络VPC
- 弹性计算ECS
- VPN网关
- 弹性MapReduce
- 对象存储OSS
自建Hive数据仓库迁移到阿里云EMR
2020-02-18
565
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本），涉及到数据订正更新步骤。
场景描述
解决问题
产品列表
目录
相关文章
|
2月前
|
分布式计算
大数据
MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
37
0
0
|
2月前
|
分布式计算
测试技术
调度
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
42
0
0
|
10天前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用，涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势，以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。
189
2
2
|
3天前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
讲师焦明烨介绍了StarRocks的数据湖能力，如何使用阿里云EMR StarRocks构建基于Paimon的极速实时湖仓，StarRocks与Paimon的最新进展及未来规划。
18
3
3
|
1月前
|
SQL
分布式计算
Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化，内置 Fusion Engine，100% 兼容开源 Spark 编程接口，相比于开源 Spark 性能提升300%；提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验！
88
3
3
|
14天前
|
SQL
分布式计算
关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
33
3
3
|
1月前
|
SQL
存储
NoSQL
|
2月前
|
存储
分布式计算
大数据
大数据革新在即，阿里云EMR如何布局DeltaLake引领行业潮流？
【8月更文挑战第26天】大数据时代，实时处理与分析能力对企业至关重要。Delta Lake 作为高性能、可靠且支持 ACID 事务的开源存储层，已成为业界焦点。阿里云 EMR 深度布局 Delta Lake，计划深化集成、强化数据安全、优化实时性能，并加强生态建设与社区贡献。通过与 Spark 的无缝对接及持续的技术创新，阿里云 EMR 致力于提供更高效、安全的数据湖解决方案，引领大数据处理领域的发展新方向。
40
3
3
|
2月前
|
存储
分布式计算
监控
揭秘阿里云EMR：如何巧妙降低你的数据湖成本，让大数据不再昂贵？
【8月更文挑战第26天】阿里云EMR是一种高效的大数据处理服务，助力企业优化数据湖的成本效益。它提供弹性计算资源，支持根据需求调整规模；兼容并优化了Hadoop、Spark等开源工具，提升性能同时降低资源消耗。借助DataWorks及Data Lake Formation等工具，EMR简化了数据湖构建与管理流程，实现了数据的统一化治理。此外，EMR还支持OSS、Table Store等多种存储选项，并配备监控优化工具，确保数据处理流程高效稳定。通过这些措施，EMR帮助企业显著降低了数据处理和存储成本。
97
3
3
|
2月前
|
安全
数据管理
大数据
数据湖的未来已来：EMR DeltaLake携手阿里云DLF，重塑企业级数据处理格局
【8月更文挑战第26天】在大数据处理领域，阿里云EMR与DeltaLake的集成增强了数据处理能力。进一步结合阿里云DLF服务，实现了数据湖的一站式管理，自动化处理元数据及权限控制，简化管理流程。集成后的方案提升了数据安全性、可靠性和性能优化水平，让用户更专注业务价值。这一集成标志着数据湖技术向着自动化、安全和高效的未来迈出重要一步。
56
2
2
热门文章
最新文章
1
业内首次融合数据仓库与数据湖 阿里云推出下一代大数据平台 “湖仓一体”
2
云HBase X-Pack解决传统数据仓库瓶颈，赋能客户计算分析业务
3
数据仓库优化中什么是星型转换(Star Transformation)?
4
2020阿里巴巴大数据技术公开课第五季 — SaaS模式云数据仓库MaxCompute开发实战与常见问题
5
阿里云“万仓计划”重磅发布，助力每个企业构建属于自己的云原生数据仓库
6
数据中台-数据仓库、数据湖、数据中台的区别
7
云原生数据仓库产品使用合集之ADB MySQL湖仓版和 StarRocks 的使用场景区别，或者 ADB 对比 StarRocks 的优劣势
8
云原生数据仓库产品使用合集之在云数据仓库ADB中，GROUP BY操作中出现NULL值,如何解决
9
数据仓库专题（13）-星型模型中事实表作为维表使用面临的问题和解决方法
10
谈谈如何构建现代数据体系架构（数据湖+数据仓库）