开发者社区> 问答> 正文

数据迁移,job一直处于pending状态,无法删除pending的job,如何删除呢?

使用MMA工具做数据迁移时,有个job一直处于pending状态,无法删除pending的job,如何删除呢?

展开
收起
问问小秘 2020-06-04 11:46:41 3839 0
1 条回答
写回答
取消 提交回答
  • 目前只能取消迁移succeeded和failed任务。会有一个重试,重试结果任务挂掉就可以删除。

    MaxCompute Migration Assist(MMA)是一款MaxCompute数据迁移工具。

    MaxCompute Migration Assist(MMA)是一款MaxCompute数据迁移工具。本文为您介绍MMA2.0的迁移方案、技术原理以及功能改进点。

    迁移解决方案

    方法一:Hive直接迁移到MaxCompute。

    image.png

    方法二:Hive先迁移至OSS,再迁移至MaxCompute。

    image.png

    MMA2.0技术架构和原理

    image.png

    上图中流程说明如下:
    安装UDTF。
    启动MMA-Server。MMA-Server向Task Scheduler提交任务,Task Scheduler调用Task Runner执行任务。
    启动MMA-Client。MMA-Client向MMA-Server提交迁移作业。
    通过ODPS SDK在MaxCompute上建表以及表分区。
    数据校验后,通过Hive JDBC提交数据迁移作业。

    MMA2.0重构改进
    MMA2.0与MMA1.0相比,改进点如下:
    C/S架构设计。
    Python编程改Java。
    完整的断点续传能力。
    新增自动重试功能。
    基于JDBC提交Hive作业,替代Hive客户端。
    基于ODPS SDK提交MaxCompute作业,替代MaxCompute客户端。
    UDTF持久化上传到HDFS。

    欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击申请加入。

    2020-06-04 11:56:16
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载