阿里云APP内打开
自建Hadoop迁移MaxCompute
2020-04-29 734
简介：
客户基于ECS、IDC自建或在友商云平台自建了大数据集群，为了降低企业大数据计算平台的成本，提高大数据应用开发效率，更有效保障数据安全，把大数据集群的数据、作业、调度任务以及业务数据库整体迁移到MaxCompute和其他云产品。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
作者高分内容
更多
相关文章
MaxCompute 图计算用户手册（上）
概要
ODPS GRAPH是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点(Vertex)和边(Edge)组成，点和边包含权值(Value)，ODPS GRAPH支持下述图编辑操作：
修改点或边的权值；
增加/删除点；
增加/删除边；
备注：
编辑点和边时，点与边的关系需要用户维护。
27928
0
MaxCompute用户初体验
作为一名初次使用MaxCompute的用户，我体会颇深。MaxCompute 开箱即用，拥有集成化的操作界面，你不必关心集群搭建、配置和运维工作。仅需简单的点击鼠标，几步操作，就可以在MaxCompute中上传数据，分析数据并得到分析结果。
1878
0
Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
DataX-On-Hadoop即使用hadoop的任务调度器，将DataX task(Reader->Channel->Writer)调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到ODPS、RDS等，不需要用户提前安装和部署DataX软件包，也不需要另外为DataX准备执行集群。
9216
0
MaxCompute实践
一、写在前面
本人之前一直从事程序开发的（PHP、JAVA、Python）工作，在之前的工作经历中有过一段时间配合Hadoop工程师的事务，但接触的并不深，只能说略知点皮毛，有点管中窥豹的感觉。
今年进了新公司，因为公司正在组建新的数据部门，非常有幸本人得以调入该部门，恰逢MaxCompute横空出世，刚好因为我那时工作比较空闲，得以安排调研它的功能及测试是否符合我们的要求。
7962
0
Hadoop history
*The genesis of Hadoop came from the Google File System paper[11] that was published in October 2003. This paper spawned another research paper from Google – MapReduce: Simplified Data Processin
1545
0
如何在MaxCompute上运行HadoopMR作业
MaxCompute（原ODPS）有一套自己的MapReduce编程模型和接口，简单说来，这套接口的输入输出都是MaxCompute中的Table，处理的数据是以Record为组织形式的，它可以很好地描述Table中的数据处理过程，然而与社区的Hadoop相比，编程接口差异较大。Hadoop用户如果
4574
0
gratitute
韩信帮刘邦夺得天下,最终又得到了什么?姑且不问当初刘邦拜将是何心态?虽然他的所拜之相并不是的那边从芒砀山带下来的哥们或是在沛县时候一起打混的兄弟?
韩信在汉军营得以重用,在项羽处屈其才,此真正的原因在于,项羽本身着实强大,并不需要韩信这样的人,而刘军团处则不同,刘邦实力柔,缺少将才统领三军!
516
0
Hadoop文件系统访问的两种方式
<p>在这里记录下学习hadoop 的过程，并对重要内容记录下来，以备以后查漏补缺。</p>
<p>要从Hadoop文件系统中读取文件，一般有两种方式：</p>
<p>1.使用java.net.URL对象</p>
<p></p>
<pre name="code" class="java">package com.ytu.chapter3;
import java.io.IOExc
2204
0
