自研的调度系统的作业和表,有什么办法可以一键迁移过去到dataworks呢?
ataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力,您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中,将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置要点。
集成三方调度系统后,整体的任务运行流程如下。
三方调度系统可通过DataWorks的OpenEvent功能,订阅依赖的DataWorks节点的状态,当依赖的节点运行完成后,即可开始运行三方调度系统中的任务。
当三方系统中的任务运行完成后,即可通过DataWorks的RunTriggerNode这个API触发运行DataWorks的HTTP触发节点,通过HTTP触发节点触发下游的DataWorks节点开始运行。
https://help.aliyun.com/zh/dataworks/user-guide/best-practices-for-integrating-a-third-party-scheduling-system-with-the-dataworks-scheduling-system?spm=a2c4g.11186623.0.i339
要将自研的调度系统的作业和表迁移至 DataWorks,可以采取以下几种方法:
DataWorks提供了任务搬站功能,支持将开源调度引擎Oozie、Azkaban、Airflow的任务迁移至DataWorks。该功能不仅支持Airflow,还支持其他开源工作流调度引擎到DataWorks的大数据开发任务迁移。
具体的迁移流程如下:首先,通过迁移助手调度引擎作业导出能力,将开源调度引擎中的作业导出。然后,将这些作业和表配置到DataWorks中。同时,DataWorks也支持批量任务迁移,能够将原始数据加工任务的定义、配置和调度信息从源环境或系统中导出,并将其迁移到目标环境或系统。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。