开发者社区> 问答> 正文

任务迁移的两部分分别是什么?

任务迁移的两部分分别是什么?

展开
收起
游客fbdr25iajcjto 2021-12-12 16:42:48 1043 0
1 条回答
写回答
取消 提交回答
  • 一部分是任务本身的迁移,另外一部分是调度平台的迁移。

    对于任务本身的迁移而言,比如原来使用的Hive SQL,想要迁移到MaxCompute的SQL,这样在迁移的匹配上可能会有一些迁移的工作量。

    原来在Hive上定义的UDF,写的MaxCompute程序或者Spark任务这些也都需要进行迁移。

    还有一类就是调度平台的迁移,原来的Hive SQL以及MaxCompute程序是通过某些调度工作进行周期性的任务运行,当迁移到MaxCompute之后,这些任务也需要进行相应的迁移。

    这里列举了两类,一类是迁移之后裸用MaxCompute,就相当于还作为原来的Hive来使用或者还是使用命令行或者API的方式做调用,此时原来的调度系统基本上不用变化,只需要将原来对Hive的接口改为对MaxCompute的接口就可以了。还有一类就是在迁移之后需要通过DataWorks进行调用,这个时候任务迁移的工作量就会大一些,首先需要将原来的任务迁移到DataWorks里面去,其次还要将原来的调度属性也配置到DataWorks里面去。

    2021-12-12 16:44:00
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
为并行图数据处理提供高层抽象/语言 立即下载
用计算和数据去改变整个世界 立即下载
图计算优化技术探索 立即下载