阿里分布式任务调度SchedulerX2.0支持Dataworks任务

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 在实际业务场景中业务处理往往依赖前置数据准备,目前在分布式任务调度平台上可进行dataworks任务数据处理与业务数据处理任务依赖编排定时调度。

简介

在schedulerx可支持定时调度dataworks任务,并将dataworks任务与其他业务定时任务进行在schedulerx上进行混合依赖编排完成相应的定期业务数据处理。

接入指南

客户端接入步骤:

1、schedulerx客户端升级至1.3.4及以上版本

2、配置具备访问dataworks(需开通企业版)的用户AK/SK

# dataworks访问的账户信息配置
spring.schedulerx2.aliyunAccessKey=阿里云账号AK
spring.schedulerx2.aliyunSecretKey=阿里云账号SK

任务创建

dataworks侧操作

1、进入dataworks控制台

2、在对应项目空间下进入数据开发,创建手动业务流程,该流程可认为是dataworks任务相关的一个业务分组。


3、在对应业务流程下创建所需对所有业务任务(无需编排依赖),并开发配置相关任务内容;完成后对该手动业务流程进行提交。


4、进入dataworks运维中心,查看确认手动业务流程及其任务已正确提交,则dataworks侧任务开发创建完毕。


schedulerx侧操作

1、已创建相应对业务,且worker已对接该业务应用

2、在相应业务应用下创建业务流程,该流程用于串联dataworks任务以及普通Java业务处理任务

3、在对应对业务流程下,导入或创建dataworks任务节点进行任务绑定

4、根据业务需要导入或创建其他类型业务处理任务,并完成依赖编排后进行发布;至此所有任务操作全部完成


任务运行

1、对业务流程设置定时触发,当触发运行上面创建的业务流程后,可在流程实例列表中查看流程执行状态以及各个节点状态


2、右击节点可查询对应节点的执行结果信息(待dataworks跳转链接支持后,会提供直接链接跳转)

3、任务实例列表,可查看对应任务节点的执行详情,以及支持停止重跑等操作

4、在dataworks的运维中心,可查询到本次调度的执行实例信息

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
目录
相关文章
|
4月前
|
数据采集 运维 DataWorks
DataWorks 千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破
智能驾驶数据预处理面临数据孤岛、任务爆炸与开发运维一体化三大挑战。DataWorks提供一站式的解决方案,支持千万级任务调度、多源数据集成及全链路数据开发,助力智能驾驶模型数据处理与模型训练高效落地。
|
2月前
|
负载均衡 算法 调度
基于遗传算法的新的异构分布式系统任务调度算法研究(Matlab代码实现)
基于遗传算法的新的异构分布式系统任务调度算法研究(Matlab代码实现)
169 11
|
10月前
|
DataWorks
DataWorks任务如何现在执行最长时间?
设置任务执行最长时间
210 28
|
9月前
|
SQL 运维 关系型数据库
体验用分布式数据库突破资源瓶颈,完成任务领智能台灯!
体验用分布式数据库突破资源瓶颈,完成任务领智能台灯!
|
10月前
|
SQL 分布式计算 DataWorks
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?创建一个表的空分区,然后通过DataWorks去检查这个分区。
204 7
|
存储 NoSQL Java
Java调度任务如何使用分布式锁保证相同任务在一个周期里只执行一次?
【10月更文挑战第29天】Java调度任务如何使用分布式锁保证相同任务在一个周期里只执行一次?
388 1
|
消息中间件 架构师 Java
阿里面试:秒杀的分布式事务, 是如何设计的?
在40岁老架构师尼恩的读者交流群中,近期有小伙伴在面试阿里、滴滴、极兔等一线互联网企业时,遇到了许多关于分布式事务的重要面试题。为了帮助大家更好地应对这些面试题,尼恩进行了系统化的梳理,详细介绍了Seata和RocketMQ事务消息的结合,以及如何实现强弱结合型事务。文章还提供了分布式事务的标准面试答案,并推荐了《尼恩Java面试宝典PDF》等资源,帮助大家在面试中脱颖而出。
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
228 1
|
SQL 机器学习/深度学习 分布式计算
dataworks节点任务
在DataWorks中,你可以通过拖拽节点以及连线来构建复杂的工作流,这样可以方便地管理多个任务之间的依赖关系。此外,DataWorks还提供了调度功能,使得这些任务可以在设定的时间自动执行。这对于构建自动化、定时的数据处理管道非常有用。
287 5
|
DataWorks 监控 安全
DataWorks产品使用合集之怎么设置实时同步任务的速率和并发
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。