Dataphin调度周期说明

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 介绍Dataphin不同类型任务当前支持的调度周期及配置说明

一、支持的调度周期说明

Dataphin实现逻辑:

  • Dataphin目前基于cron表达式实现调度周期的配置
  • 调度配置页面,前端根据用户的配置,根据cron表达式生成实例时间预览
  • 后台执行时,后端根据cron表达式解析结果生成实例

关于cron表达式的简介参见 附录 章节。

不同调度配置配置说明:

  • 小时/分钟调度:每隔一段固定时间(每N小时或者N分钟)运行一次
  • 支持指定时间点(整点调度)和时间段调度
  • 时间点:整点调度

  • 时间段:支持设置开始时间(支持选择到具体分钟)和结束时间(仅支持选择到小时,cron表达式限制),可设置调度间隔

  • 日调度:每日在固定时间开始运行

  • 支持设置每日起调时间
  • 周/月调度:在设置的调度日期真正运行实例,非调度日期生成空跑成功实例
  • 支持指定每周固定周几调度
  • 支持设置调度日期当前的起调时间

不同类型任务调度周期支持说明:

  • 集成/代码任务:支持分钟/小时/日/周/月调度
  • 逻辑表任务:2.9.x版本仅支持日及以上周期调度,且固定每日0点起调;后续版本将支持小时/分钟调度,支持设置起调时间
  • 指标:根据设置的统计周期自动识别调度周期(如图,bizdate代表日调度,m代表月调度,y代表年调度);2.9.x版本仅支持日及以上周期调度,且固定每日0点起调;后续版本将支持小时/分钟调度



二、cron表达式配置解析

  • ①从0点30分开始,每隔30分钟调度一次

结果解释:从0点30分开始,每隔30分钟调度1次;0点30分第一次调度,隔30min是60分,不在范围内,所以会从头再开始计算,就到了01:30,真正实现的效果是每个小时的30分这个节点调度一次,所以会生成24个实例


  • ②从0点0分开始,每隔30分钟调度一次

结果解释:0点0分开始,每隔30分钟调度1次;0点0分第一次调度,隔30min是0点30分,在范围内;再隔30min是60分,不在范围内,所以会从头再开始计算,就到了01:00,真正实现的效果是每个小时的0分和30分节点会调度一次,所以会生成48个实例


附录:cron表达式说明

- 背景输入:

cron在线生成器:https://www.freeformatter.com/cron-expression-generator-quartz.html

https://www.cnblogs.com/superman66/p/4565723.html

总结

  • 从起始时间开始,按照设置的步长进行计算,如果结算结果超过了每个位置的范围值就会跳过,重新开始计算
  • 如果起始时间>=30分,每隔30min调度一次,则实现的效果只能是每小时调度一次


相关文章
|
4月前
|
调度
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
一个销售额结算的周期任务的调度周期是月调度---每月1号进行调度,但是有一天调整了计算口径后希望重新计算过去几个月的销售额,此时补数据任务的业务日期应该如何选择?
126 4
|
4月前
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
4月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
4月前
|
数据采集 运维 Java
有了 Dataphin v4.0,跨系统调度依赖再也不是难题
Dataphin v4.0引入了新的触发式节点,用于解决多数据平台间的调度问题。当上游系统(如Unix的crontab)完成数据采集后,可通过触发式节点通知Dataphin开始拉取数据,避免传统轮询方式的效率低和资源占用。触发式节点需满足Dataphin OpenAPI开通和网络连通条件,并通过SDK进行外部触发。示例展示了如何创建和使用触发式节点,以及使用Java SDK模拟触发请求。
205 0
|
2月前
|
运维 关系型数据库 调度
想一套Dataphin管理云上云下的集群和数据?“注册调度集群”来帮忙!
在实际业务场景中,部分企业在云上和云下(本地机房)都存在集群和数据库,企业期望通过一套Dataphin同时对这些集群和数据库进行管理,如何有效解决数据跨网络传输带来的安全性低和流量成本高的问题是其中的关键。为了解决上述问题,Dataphin推出“注册调度集群”功能,帮助企业实现一套Dataphin管理云上云下的集群和数据。
|
4月前
|
SQL 存储 数据可视化
Dataphin常见问题之30G的内存都不够用如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
10月前
|
调度
在Dataphin中配置了一个日调度的表
在Dataphin中配置了一个日调度的表
47 2
|
运维 调度
Dataphin依赖周期和依赖策略详解
Dataphin依赖周期和依赖策略详解
569 0
|
Kubernetes 大数据 数据处理
瓴羊Dataphin调度性能突破「千万级」,数据处理更快更稳
升级后的Dataphin V3.11版本,可以在24小时内完成3800万的实例调度,较之前的V3.9版本,取得了显著的优化成果,整体提升25.4倍,可支持超复杂依赖关系,比如在宽度100万,深度20,以及宽度20,深度一百万的2类调度测试场景中,全链路调度耗时有明显减少,即席查询性能提升也十分明显。
434 0

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin