数据迁移,job一直处于pending状态,无法删除pending的job,如何删除呢?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

数据迁移,job一直处于pending状态,无法删除pending的job,如何删除呢?

问问小秘 2020-06-04 11:46:41 845

使用MMA工具做数据迁移时,有个job一直处于pending状态,无法删除pending的job,如何删除呢?

状态end 无法删除数据 job数据状态 状态has 迁移状态
分享到
取消 提交回答
全部回答(1)
  • 问问小秘
    2020-06-04 11:56:16

    目前只能取消迁移succeeded和failed任务。会有一个重试,重试结果任务挂掉就可以删除。

    MaxCompute Migration Assist(MMA)是一款MaxCompute数据迁移工具。

    MaxCompute Migration Assist(MMA)是一款MaxCompute数据迁移工具。本文为您介绍MMA2.0的迁移方案、技术原理以及功能改进点。

    迁移解决方案

    方法一:Hive直接迁移到MaxCompute。

    image.png

    方法二:Hive先迁移至OSS,再迁移至MaxCompute。

    image.png

    MMA2.0技术架构和原理

    image.png

    上图中流程说明如下:
    安装UDTF。
    启动MMA-Server。MMA-Server向Task Scheduler提交任务,Task Scheduler调用Task Runner执行任务。
    启动MMA-Client。MMA-Client向MMA-Server提交迁移作业。
    通过ODPS SDK在MaxCompute上建表以及表分区。
    数据校验后,通过Hive JDBC提交数据迁移作业。

    MMA2.0重构改进
    MMA2.0与MMA1.0相比,改进点如下:
    C/S架构设计。
    Python编程改Java。
    完整的断点续传能力。
    新增自动重试功能。
    基于JDBC提交Hive作业,替代Hive客户端。
    基于ODPS SDK提交MaxCompute作业,替代MaxCompute客户端。
    UDTF持久化上传到HDFS。

    欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击申请加入。

    0 0
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

最新问题