AI 助理
文档备案控制台
开发者社区 阿里云最佳实践 文章 正文

自建Hive数据仓库迁移到阿里云EMR

2020-02-18 620
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本），涉及到数据订正更新步骤。

场景描述

客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本），涉及到数据订正更新步骤。

解决问题

  • Hive数据仓库的数据迁移方案
  • Hive元数据库的迁移方案
  • Hive跨版本迁移后的数据订正

产品列表

  • 专有网络VPC
  • 弹性计算ECS
  • VPN网关
  • 弹性MapReduce
  • 对象存储OSS

image

直达最佳实践 》》

bp-124.png

文章标签：
分布式计算
弹性计算
SQL
网络安全
网络虚拟化
对象存储
Hadoop
HIVE
数据库
关键词：
阿里云emr
Hive数据仓库
emr阿里云
数据仓库迁移
数据仓库阿里云
小然然
目录
相关文章
青云交（Java大数据AI云原生Python）
|
9月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合：构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。
青云交（Java大数据AI云原生Python）
678 78
大数据新视界 --大数据大厂之Hive与大数据融合：构建强大数据仓库实战指南
游客kufrkwrbkmpsa
|
11月前
|
SQL DataX HIVE
【YashanDB知识库】DataX迁移Hive到崖山分布式
本文来自YashanDB官网，介绍通过DataX将Hive数据迁移到YashanDB的实现方法。源环境为Hive 3.1.3，目标为YashanDB 23.2.3.100。文章提供了Hive与YashanDB的建表脚本、数据类型映射及DataX配置示例，包含reader和writer插件参数设置，并通过`datax.py`执行同步任务。内容详尽展示了数据迁移的全流程。
游客kufrkwrbkmpsa
265 1
【YashanDB知识库】DataX迁移Hive到崖山分布式
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
武子康
392 3
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
368 0
aliyun9098636493-44413
|
SQL 分布式计算 关系型数据库
【数据仓库与联机分析处理】数据仓库工具Hive
【数据仓库与联机分析处理】数据仓库工具Hive
aliyun9098636493-44413
549 6
三分钟热度的鱼
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之如何实现adb到adb的整库迁移或同步
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能，并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景，为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述，包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
三分钟热度的鱼
415 0
杨校
|
SQL 存储 关系型数据库
杨校老师课题之Hive数据仓库搭建2
杨校老师课题之Hive数据仓库搭建
杨校
126 0
杨校
|
SQL 存储 关系型数据库
杨校老师课题之Hive数据仓库搭建1
杨校老师课题之Hive数据仓库搭建
杨校
244 0
李振良_阿良
|
SQL 存储 分布式计算
基于Hadoop数据仓库Hive1.2部署及使用
基于Hadoop数据仓库Hive1.2部署及使用
李振良_阿良
337 0
爱吃糖的范同学
|
存储 SQL 分布式计算
【Hive】为什么要对数据仓库分层？
【4月更文挑战第15天】【Hive】为什么要对数据仓库分层？
爱吃糖的范同学
499 0

阿里云最佳实践

热门文章

最新文章

  • 1
    DTCC 2020 | 阿里云李飞飞：云原生分布式数据库与数据仓库系统点亮数据上云之路
  • 2
    数据仓库专题（2）-Kimball维度建模四步骤
  • 3
    AnalyticDB for PostgreSQL 实时数据仓库上手指南
  • 4
    数据仓库设计规范（更新中）
  • 5
    《云原生一站式数据库技术与实践》——二、云原生数据仓库AnalyticDB MySQL高性能存储引擎(1)
  • 6
    SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践
  • 7
    金融数据智能峰会 | 数据规模爆炸性增长，企业如何进行精准决策？云原生数据仓库数据化运营实战分享
  • 8
    数据仓库与数据挖掘概述
  • 9
    2021阿里巴巴大数据技术公开课第二季 — SaaS模式云数据仓库MaxCompute应用场景实践
  • 10
    一套 SQL 搞定数据仓库？Flink有了新尝试
  • 1
    基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
    56989
  • 2
    阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式
    1522
  • 3
    阿里云 EMR Serverless Spark 版开启免费公测
    1773
  • 4
    EMR Notebook 开启公测，提供交互式数据分析平台
    567
  • 5
    使用Amazon EMR和Apache Hudi在S3上插入，更新，删除数据
    397
  • 6
    使用Apache Hudi + Amazon EMR进行变化数据捕获(CDC)
    252
  • 7
    一文带你认识医院信息化必备系统HIS、CIS、LIS、EMR、PACS、RIS等
    8342
  • 8
    轻喜到家基于 EMR-StarRocks 构建实时湖仓分析平台实践
    1643
  • 9
    云HIS系统+LIS检验系统+EMR电子病历系统源码
    399
  • 10
    用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
    1762

    • 相关课程

    更多
  • 高校精品课-北京理工大学-数据仓库与数据挖掘（上）
  • EMR Studio 大数据处理最佳实践课程
  • 阿里云 EMR on ACK 实战
  • 高校精品课-华东师范大学-数据仓库与商务智能
  • SaaS模式云数据仓库实战
  • 大数据Hive教程精讲

    • 相关电子书

    更多
  • Hive Bucketing in Apache Spark
  • spark替代HIVE实现ETL作业
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • 基于EMR StarRocks实现游戏玩家画像和行为分析
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！