【Dataphin运维】解放双手,支持补数据任务定时调度和手动运行,轻松实现回刷历史数据

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Datatphin V3.11版本全新上线补数据任务功能,支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。满足企业复杂多样的回刷历史数据的需求,减少人工操作成本。

Datatphin V3.11版本全新上线补数据任务功能,支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。满足企业复杂多样的回刷历史数据的需求,减少人工操作成本。

背景

小月是某企业的数据分析人员,在她的日常工作中经常面临一些问题:
小月需要处理收入分摊数据,数据隔几天会不定期下发一次,为保证数据准确性和及时性,每次下发数据后,小月需要手动更新最近两个月的数据。这个过程非常繁琐和重复,每次都需要手动执行相同的操作。这样一来,小月需要花费大量的时间和精力来完成这个任务。
每个月初,小月需要根据最新的数据统计口径更新上个月整月的数据以进行统计和计算指标,保证及时准确地输出数据报表和进行数据分析。小月需要每个月月初手动执行相同的补数据操作,而涉及到的节点较多,上下游依赖复杂,在选择节点时容易出错,小月需要对照历史的补数据记录进行重复配置。
此外,小月每个月需要手动上传数据表,并且需要在上传数据后手动刷新该表以及相关的上下游数据。这个过程需要根据数据依赖关系依次点击运行一组手动任务,等一个任务运行成功后再手动运行下游的任务。这个过程非常繁琐和容易出错,需要小月花费大量的时间和精力。

小月的日常工作充斥着繁琐的重复操作,Dataphin新功能上线后,小月使用了补数据任务的功能,通过一次简单的配置轻松地解决了上述的各种问题。

小月创建了一个补数据任务,自动保存了节点选择和运行规则的配置。每次下发收入分摊数据后,她只需要点击一次运行,就能帮助实现数据的更新,省去了她重复配置补数据的繁琐过程。
她还创建了一个每月1号回刷最近两个自然月数据的补数据任务。每月1号,补数据任务会自动执行,帮助小月更新上个月整月的数据,快速生成数据报表和计算指标,无需再进行重复操作。
对于每个月手动上传数据表后依次运行手动任务刷新数据的操作,小月将该组手动任务配置为空跑调度的周期任务,并配置好上下游的依赖关系。然后,她再配置了一个手动运行的补数据任务,将节点范围保存起来。当她每次上传数据表后,只需要手动运行一次补数据任务,无需再进行繁琐的手动任务运行操作,节省了大量的时间和精力。

借助补数据任务的功能,小月实现了通过一次简单的配置,轻松解决以上问题,满足她在类似场景中的各种需求。这个功能大大简化了繁琐的手动操作过程,提高了小月的工作效率和准确性。现在,小月可以更专注于数据分析的工作,而不用再花费大量的时间和精力在重复性的操作上了。

功能介绍

补数据任务支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。
以场景二为例,实现每月3号自动回刷上个月整月数据,具体操作步骤如下:

  1. 进入 Dataphin > 研发 > 运维 > 补数据任务
  2. 填写基本信息
  3. 选择补数据范围,需要先选择一个起始节点,选择起始节点的下游任务作为补数据范围
    image.png
  4. 进行运行配置
    a. 调度类型:选择定时调度
    b. 定时运行时间:选择 月 3日 00:00
    c. 补数据业务日期:选择最近N个自然月 1月自然月
    d. 预览最近运行时间及补数据业务日期:通过预览可以查看补数据任务的最近五个执行计划
    image.png
  5. 点击 确定,可以在补数据任务列表中查看和操作该任务,包括设置生效状态,手动运行,编辑,修改负责人,删除等
    手动运行该补数据任务相当于复用该任务所选的补数据节点范围及运行规则进行一次临时补数据,需要手动重新设定本次临时补数据的运行时间和业务日期
  6. 在定时运行时间的前一天的23点将会生成待提交实例,可以在 运维 > 补数据实例 > 待提交实例中查看,在定时运行时间前可以对该实例进行暂停操作;到达定时运行时间后,系统将会自动提交执行该补数据实例,可以在 运维 > 补数据实例 > 已提交实例中查看。

    总结

    类似的场景可以通过以上操作解决,场景三中提出的希望给手动任务添加依赖的需求也可以通过补数据任务解决,具体操作为:将该组手动任务配置为空跑调度的周期任务并为配置好上下游依赖关系,再配置一个手动运行的补数据任务将节点范围保存起来,设置空跑调度的任务补数据时正常跑,每次只需要手动运行一次补数据任务即可。补数据任务的功能能够很好的满足各种定时回刷历史数据的需求,大大降低人工操作和运维成本,为您带来更好的使用体验,欢迎体验!
相关文章
|
7月前
|
调度
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
一个销售额结算的周期任务的调度周期是月调度---每月1号进行调度,但是有一天调整了计算口径后希望重新计算过去几个月的销售额,此时补数据任务的业务日期应该如何选择?
163 4
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
|
7月前
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
SQL JSON 数据库连接
Dataphin常见问题之报415错误如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
2月前
|
人工智能 运维 自然语言处理
对话蚂蚁开源蒋炜:让 Agent 把运维人员从 24 小时的待命中解放出来
当整个行业的智慧都集中在一件事情上时,比起闭门造车,开源一定能带来更好的技术迭代和发展。CodeFuse 「编码挑战季」活动火热进行中,诚邀广大开发者们参与编码挑战
127 3
对话蚂蚁开源蒋炜:让 Agent 把运维人员从 24 小时的待命中解放出来
|
6月前
|
资源调度 运维 Kubernetes
Dataphin实时研发任务资源预估与资源配置
在企业用户使用Dataphin的实时研发模块时,有两个基本问题是必须考虑的: 1. 短期上线一个实时业务,需要准备多少资源?企业在未来一年中,需要提前准备多少服务器/云资源? 2. 上线实时任务时,怎么配置需要的资源? 本文对这两个问题做简单介绍,期望企业用户能够快速理解资源预估原理和资源配置方法。
120 5
|
6月前
|
运维 监控 安全
自动化运维:解放双手,提升效率
【6月更文挑战第19天】本文将深入探讨自动化运维的重要性和优势,以及如何实现自动化运维。我们将从自动化运维的定义开始,然后讨论它的优势,包括提高效率、减少错误、节省成本等。接下来,我们将详细介绍如何实现自动化运维,包括选择合适的工具和技术、设计自动化流程、测试和优化等步骤。最后,我们将通过一个实际案例来展示自动化运维的实施过程和效果。
|
6月前
|
运维 监控
自动化运维:解放双手,提升效率
【6月更文挑战第18天】在数字化时代,运维工作的复杂性和重要性日益凸显。传统的人工运维方式已经难以满足现代企业的需求。自动化运维作为一种新兴的运维模式,通过引入自动化工具和技术,实现对IT资源的高效管理。本文将介绍自动化运维的概念、优势以及实施步骤,帮助读者更好地理解和应用自动化运维。
|
7月前
|
SQL 运维 数据管理
Dataphin补数据又双叒叕升级了,支持筛选节点类型,支持输入或粘贴节点名称批量补数据
Dataphin 4.0版本针对补数据操作进行了升级,旨在提升用户体验。在面对数据缺失问题时,如某企业因上游系统故障需紧急回刷历史数据,Dataphin提供了按节点类型筛选下游节点的功能,减少了手动操作的错误和时间消耗。对于大规模任务管理,如银行数据中心的历史数据补充,Dataphin支持按照节点名称批量补数据,提高了效率和准确性。此外,还优化了逻辑表补数据的性能,并允许配置超时任务自动重跑,以应对调度高峰。
112 1
|
7月前
Dataphin中运行任务所需的资源不仅包括CPU,还有内存
【1月更文挑战第11天】【1月更文挑战第53篇】Dataphin中运行任务所需的资源不仅包括CPU,还有内存
82 2

热门文章

最新文章