• 自建 Hadoop 数据迁移到阿里云EMR集群

    客户自建 Hadoop 迁移到阿里云 EMR 集群的技术方案 基于 IPSec VPN 隧道构建安全和低成本数据传输链路 产品列表 专有网络 VPC 云服务器 ECS 对象存储 OSS E-MapReduce VPN 网关 直达最佳实践》》 【云栖号在线课堂】...
    文章 2020-02-07 1801浏览量
  • 迁移开源HDFS数据到文件存储HDFS版

    迁移集群应与文件存储HDFS版实例的挂载点使用相同阿里云VPC网络及交换机。迁移集群上安装的JDK版本不低于1.8。迁移集群上安装的Hadoop版本不低于2.7.2。如果原集群满足上述条件且计算资源充足&xff0c;可以直接将原...
    文章 2021-12-23 109浏览量
  • 一个助Hadoop集群数据快速上云工具

    当前业界有很多公司是以Hadoop技术构建数据中心,所以本文将探讨如何快速的将Hadoop文件系统(HDFS)上的数据迁移到云上。在阿里云上使用最广泛的存储服务是OSS对象存储。OSS的数据迁移工具ossimport2可以将您本地或...
    文章 2017-05-05 5125浏览量
  • 自建Hadoop迁移MaxCompute最佳实践

    直达最佳实践:【自建Hadoop迁移MaxCompute最佳实践】最佳实践频道:【点击查看更多上云最佳实践】 这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!...
    文章 2020-08-28 286浏览量
  • 理论与实践:如何从Hadoop迁移到MaxCompute

    在本文中,阿里云数据技术专家结网就为大家分享了从Hadoop迁移到MaxCompute的理论与实践。直播视频回看,传送门!分享资料下载,传送门!更多精彩内容传送门:大数据计算技术共享计划—MaxCompute技术公开课第二季 ...
    文章 2018-09-13 3112浏览量
  • 自建Hadoop迁移阿里云MaxCompute实践-持续更新2018/9/...

    Hadoop迁移MaxCompute的文章教程应该不少,比如前不久刚刚发布的 《Hadoop数据迁移到MaxCompute最佳实践》https://help.aliyun.com/video_detail/88429.html 理论与实践:如何从Hadoop迁移到MaxCompute ...
    文章 2018-08-28 3322浏览量
  • 自建Hive数据仓库迁移到阿里云EMR

    客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云EMR集群之后,涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本),...
    文章 2020-02-18 408浏览量
  • 自建Hive数据仓库迁移到阿里云EMR

    客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云EMR集群之后,涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本),...
    文章 2020-02-13 3656浏览量
  • 自建Hadoop迁移MaxCompute

    自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute Dataworks 云数据库Hbase版 Datahub VPC ECS ...
    文章 2020-04-29 731浏览量
  • 自建Hadoop数据迁移到阿里云EMR

    但是由于自建HDFS空间限制无法保存长期数据,或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践: 基于IPSec VPN隧道+DistCp(Hadoop原生工具),将数据迁移到阿里云EMR集群,目标存储包括HDFS...
    文章 2020-01-09 1095浏览量
  • 自建Hive数据仓库跨版本迁移到阿里云Databricks数据...

    场景描述客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。实践优势全托管Spark集群免运维,节省人力...
    文章 2021-04-29 169浏览量
  • HBase数据导入工具总结

    HBase经典网络集群迁移vpc网络 使用ClassicLink打通网络。迁移工具参考具体场景 HBase经典网络集群迁移vpc网络 关系型数据库->HBase Sqoop 使用Sqoop从Mysql向云HBase同步数据 其他类型数据源一次性导入HBase...
    文章 2017-08-24 4752浏览量
  • MaxCompute 湖仓一体方案最佳实践|学习笔记

    此处的 VPC 不是 Hadoop 集群所在的 VPC,而是要与 Hadoop 集群通信的 VPC.本示例中使用的是与 MaxCompute 项目同在上海地域的相关VPC信息。申请通过后&xff0c;可在弹性网卡中看到由 MaxCompute 新建的 ENI。4.2....
    文章 2021-12-19 105浏览量
  • 自建hadoop集群迁移到EMR之数据迁移

    distcp参数细节,一般命令格式如下:hadoop distcp-Ddfs.replication=3-pbugpcax-m 1000-bandwidth 30 hdfs:/oldclusterip:8020/user/hive/warehouse/user/hive/注意事项: hdfs:/oldclusterip:8020写老集群nameode ...
    文章 2018-01-18 3491浏览量
  • 轻松上云系列之一:本地数据迁移上云

    ECS迁移服务—VPC内网迁移 NAT Gateway 自建SNAT网关平滑迁移到NAT网关 在线迁移服务 HTTP/HTTPS源迁移教程 RDS 使用SSMS和BCP迁移SQL Server数据库 使用 DTS 迁移 MySQL 数据 使用 mysqldump 迁移 MySQL 数据 全量...
    文章 2018-12-11 6504浏览量
  • DataWorks数据集成与开源Sqoop的对比

    Sqoop即SQL to Hadoop,是一款方便的在传统型数据库(mysql、oracle)与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,提供了很高的并行性能及良好的容错性,发展至今主要...
    文章 2020-03-04 2264浏览量
  • EMR本地盘实例大规模数据集测试

    1、云盘多份冗余数据导致成本高2、磁盘吞吐量不高3、节点的高可靠分布问题4、本地盘与节点的故障监控问题5、数据迁移时自动决策问题6、自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC 直达...
    文章 2020-12-03 2092浏览量
  • 自建Hive数据仓库跨版本迁移到阿里云E-MapReduce

    客户在决策上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤。方案优势 易用性 您可以简单选择所需ECS机型(CPU、内存)与...
    文章 2020-01-08 731浏览量
  • MaxCompute Spark 使用和常见问题

    传统的访问vpc的方式spark.hadoop.odps.cupid.smartnat.enablevpc访问依赖的参数如果region是北京或者上海&xff0c;将该参数设置为truespark.hadoop.odps.cupid.eni.enable如果用户已开通专线&xff0c;则需要配置为...
    文章 2021-01-07 2784浏览量
  • 企业版阿里云服务器ECS选购与使用教程

    Hadoop:数据节点需要高磁盘吞吐、高网络吞吐、均衡的处理器与内存配比,计算节点则更关注计算性能、网络带宽及处理器与内存配比。图片转码:需要硬件并行加速能力,您可以根据应用场景选择更合理的计算与内存的资源...
    文章 2020-02-20 2184浏览量
  • 阿里云服务器企业版ECS该如何选择及使用教程

    Hadoop:数据节点需要高磁盘吞吐、高网络吞吐、均衡的处理器与内存配比,计算节点则更关注计算性能、网络带宽及处理器与内存配比。图片转码:需要硬件并行加速能力,您可以根据应用场景选择更合理的计算与内存的资源...
    文章 2020-04-25 939浏览量
  • MaxCompute湖仓一体方案最佳实践

    (4)湖仓连通l 申请 MaxCompute 与 VPC 的网络连通MaxCompute 需要通过 VPC 来跨区域访问 Hadoop 集群&xff0c;所以要打通 MaxCompute和 VPC 之间的网络通路。这个步骤目前需要阿里云产品团队协助处理&xff0c;可将以下...
    文章 2022-01-19 125浏览量
  • 泰为基于EMR的考量与实践

    在计划迁移Rundeck上的Product Job到阿里云EMR上,一定要先充分地了解现有业务的处理逻辑、Job脚本代码以及集群组件Hadoop、Hive环境等。为了不影响现有产品环境的稳定性,所以一般要先选择Stage的Job进行迁移,调试...
    文章 2016-11-07 9497浏览量
  • 大数据搬站step by step

    现在自建Hadoop迁移到E-MapReduce可以通过OSS进行过度,或者使用阿里云高速通道产品建立线下IDC和线上E-MapReduce所在VPC网络的连通。配置DataWorks独享数据集成资源组,详细文档请参见:独享资源模式 本文以在华北2...
    文章 2020-02-19 2491浏览量
  • 113期:电子书《阿里巴巴技术实战2016年刊》重磅发布...

    新业务建议优先考虑VPC网络,阿里云也将于年中开放经典网络的存量服务器向VPC网络迁移的功能。对于大家关注的云服务器的网络安全实践内容,我们特别邀请专家进行了深入分享。点击查看。性能、稳定性、反压、Exactly ...
    文章 2017-03-20 4289浏览量
  • 手把手教你使用自建Hadoop访问全托管服务化HDFS(OSS-...

    hadoop jar/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount/hello/hi2.2.5 HDFS 测试命令适用范围hadoop fs使用范围最广&xff0c;对象&xff1a;可任何对象hadoop dfs只...
    文章 2022-02-21 177浏览量
  • 阿里巴巴下一代数据集成技术

    现在在接触很多大客户的时候,很多客户不想再继续自己维护hadoop了,希望我们能完整地一键把整个hadoop体系迁移到云上,以及把DB迁移到云上。在这种情况下我们可以做到一些一站式的服务。还有两个更好的能力就是支持...
    文章 2017-09-13 6869浏览量
  • 阿里云MaxCompute 2019-10 月刊

    云下Hadoop用户如何快速、平滑的迁移到阿里云MaxComute大数据生态?如何快速完成数据和业务的迁移以及生态系统的对接?MaxCompute提供了数据迁移工具-MMA,支持Meta、数据、作业和工作流的批量自动化迁移,帮助客户...
    文章 2019-11-01 4530浏览量
  • 从入门级到企业级:云服务器支持「共享型」升级「独享...

    为了更好的支持企业客户进行规格迁移,我们对国内用户全网开放了VPC类型的包年包月的入门型到企业型实例的升级变配。经典网络的升级正在开发中,稍后上线。对于所有的VPC类型,IO优化的入门实例在相应的可用区库存...
    文章 2017-06-25 18975浏览量
  • 使用DataX进行OTS实例间数据迁移

    2)正式迁移阶段:双写模式中的增量表全量迁移、其余小表的全量迁移。2.预迁移阶段 2.1 准备工作  为保证新老环境的数据一致性,需要在开始数据迁移前,对目标环境的OTS数据表进行数据清空操作,Delete操作是通过...
    文章 2019-01-08 3440浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化