1
条回答
写回答
写回答
-
通常而言，将Hadoop迁移到MaxCompute会分为两个主要部分：数据迁移和任务迁移。首先，对于数据迁移而言，可以通过Datax、数据集成以及DataxOnHadoop这几种工具实现。Datax是阿里云开源的一款数据传输工具；而数据集成的底层就是由Datax实现的。如果在数据迁移的过程中要使用Datax，那么需要用户来自定义调度，这对于gateway资源具有一定的要求。Datax在做数据传输的时候需要有一个管道机，通常就称之为gateway，数据的传输都是通过这个gateway来实现的，因此在使用Datax的时候对于gateway的资源是具有一定的要求的。此外，数据集成是在DataWorks里面集成化的数据传输工具。如果想要应用数据集成，那么其调度就是在DataWorks里面完成的，设置完数据周期等一些属性，DataWorks就可以自动实现任务的调度。如果使用数据集成，在网络允许的情况下，可以使用DataWorks的gateway公共网络资源，如果网络不允许则可以使用自定义的调度资源
2021-12-08 16:40:12赞同 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
