使用MMA工具做数据迁移时,有个job一直处于pending状态,无法删除pending的job,如何删除呢?
MaxCompute Migration Assist(MMA)是一款MaxCompute数据迁移工具。
MaxCompute Migration Assist(MMA)是一款MaxCompute数据迁移工具。本文为您介绍MMA2.0的迁移方案、技术原理以及功能改进点。
方法一:Hive直接迁移到MaxCompute。
方法二:Hive先迁移至OSS,再迁移至MaxCompute。
上图中流程说明如下:
安装UDTF。
启动MMA-Server。MMA-Server向Task Scheduler提交任务,Task Scheduler调用Task Runner执行任务。
启动MMA-Client。MMA-Client向MMA-Server提交迁移作业。
通过ODPS SDK在MaxCompute上建表以及表分区。
数据校验后,通过Hive JDBC提交数据迁移作业。
MMA2.0重构改进
MMA2.0与MMA1.0相比,改进点如下:
C/S架构设计。
Python编程改Java。
完整的断点续传能力。
新增自动重试功能。
基于JDBC提交Hive作业,替代Hive客户端。
基于ODPS SDK提交MaxCompute作业,替代MaxCompute客户端。
UDTF持久化上传到HDFS。
欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击申请加入。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。