Dataphin调度周期说明

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 介绍Dataphin不同类型任务当前支持的调度周期及配置说明

一、支持的调度周期说明

Dataphin实现逻辑:

  • Dataphin目前基于cron表达式实现调度周期的配置
  • 调度配置页面,前端根据用户的配置,根据cron表达式生成实例时间预览
  • 后台执行时,后端根据cron表达式解析结果生成实例

关于cron表达式的简介参见 附录 章节。

不同调度配置配置说明:

  • 小时/分钟调度:每隔一段固定时间(每N小时或者N分钟)运行一次
  • 支持指定时间点(整点调度)和时间段调度
  • 时间点:整点调度

  • 时间段:支持设置开始时间(支持选择到具体分钟)和结束时间(仅支持选择到小时,cron表达式限制),可设置调度间隔

  • 日调度:每日在固定时间开始运行

  • 支持设置每日起调时间
  • 周/月调度:在设置的调度日期真正运行实例,非调度日期生成空跑成功实例
  • 支持指定每周固定周几调度
  • 支持设置调度日期当前的起调时间

不同类型任务调度周期支持说明:

  • 集成/代码任务:支持分钟/小时/日/周/月调度
  • 逻辑表任务:2.9.x版本仅支持日及以上周期调度,且固定每日0点起调;后续版本将支持小时/分钟调度,支持设置起调时间
  • 指标:根据设置的统计周期自动识别调度周期(如图,bizdate代表日调度,m代表月调度,y代表年调度);2.9.x版本仅支持日及以上周期调度,且固定每日0点起调;后续版本将支持小时/分钟调度



二、cron表达式配置解析

  • ①从0点30分开始,每隔30分钟调度一次

结果解释:从0点30分开始,每隔30分钟调度1次;0点30分第一次调度,隔30min是60分,不在范围内,所以会从头再开始计算,就到了01:30,真正实现的效果是每个小时的30分这个节点调度一次,所以会生成24个实例


  • ②从0点0分开始,每隔30分钟调度一次

结果解释:0点0分开始,每隔30分钟调度1次;0点0分第一次调度,隔30min是0点30分,在范围内;再隔30min是60分,不在范围内,所以会从头再开始计算,就到了01:00,真正实现的效果是每个小时的0分和30分节点会调度一次,所以会生成48个实例


附录:cron表达式说明

- 背景输入:

cron在线生成器:https://www.freeformatter.com/cron-expression-generator-quartz.html

https://www.cnblogs.com/superman66/p/4565723.html

总结

  • 从起始时间开始,按照设置的步长进行计算,如果结算结果超过了每个位置的范围值就会跳过,重新开始计算
  • 如果起始时间>=30分,每隔30min调度一次,则实现的效果只能是每小时调度一次


相关文章
|
调度
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
一个销售额结算的周期任务的调度周期是月调度---每月1号进行调度,但是有一天调整了计算口径后希望重新计算过去几个月的销售额,此时补数据任务的业务日期应该如何选择?
272 4
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
数据采集 运维 Java
有了 Dataphin v4.0,跨系统调度依赖再也不是难题
Dataphin v4.0引入了新的触发式节点,用于解决多数据平台间的调度问题。当上游系统(如Unix的crontab)完成数据采集后,可通过触发式节点通知Dataphin开始拉取数据,避免传统轮询方式的效率低和资源占用。触发式节点需满足Dataphin OpenAPI开通和网络连通条件,并通过SDK进行外部触发。示例展示了如何创建和使用触发式节点,以及使用Java SDK模拟触发请求。
684 0
|
5月前
|
弹性计算 调度
Dataphin功能Tips系列(52)-调度资源组弹性伸缩
Dataphin支持通过自定义资源组实现弹性资源调配:设置资源上下限,允许资源组间相互“借用”空闲资源。当开发环境任务暂停时,其未使用的资源可被生产环境借用,确保资源高效利用,同时保障各环境资源需求。配置时只需明确开发与生产环境的资源上下限,并关联对应项目任务即可实现动态调整。
113 1
|
26天前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
在数据生产中,数据质量直接影响业务准确性。Dataphin 提供“数据更新触发调度”功能,结合强规则校验,可在数据更新时自动检测质量,异常时阻断下游任务,防止脏数据扩散,保障数据准确性与流程稳定。
|
5月前
|
弹性计算 Kubernetes 调度
Dataphin V5.0:调度资源支持弹性伸缩,有效提升资源利用率
Dataphin在5.0版本新增“调度资源弹性伸缩”功能,通过设置资源组的Min(保障资源)和Max(上限资源),优化资源共享逻辑,提升集群资源利用率。方案涵盖三种资源分配场景,并支持查看实时使用量。
171 16
|
运维 关系型数据库 调度
想一套Dataphin管理云上云下的集群和数据?“注册调度集群”来帮忙!
在实际业务场景中,部分企业在云上和云下(本地机房)都存在集群和数据库,企业期望通过一套Dataphin同时对这些集群和数据库进行管理,如何有效解决数据跨网络传输带来的安全性低和流量成本高的问题是其中的关键。为了解决上述问题,Dataphin推出“注册调度集群”功能,帮助企业实现一套Dataphin管理云上云下的集群和数据。
246 5
|
SQL 存储 数据可视化
Dataphin常见问题之30G的内存都不够用如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin