【Dataphin运维】解放双手,支持补数据任务定时调度和手动运行,轻松实现回刷历史数据

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Datatphin V3.11版本全新上线补数据任务功能,支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。满足企业复杂多样的回刷历史数据的需求,减少人工操作成本。

Datatphin V3.11版本全新上线补数据任务功能,支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。满足企业复杂多样的回刷历史数据的需求,减少人工操作成本。

背景

小月是某企业的数据分析人员,在她的日常工作中经常面临一些问题:
小月需要处理收入分摊数据,数据隔几天会不定期下发一次,为保证数据准确性和及时性,每次下发数据后,小月需要手动更新最近两个月的数据。这个过程非常繁琐和重复,每次都需要手动执行相同的操作。这样一来,小月需要花费大量的时间和精力来完成这个任务。
每个月初,小月需要根据最新的数据统计口径更新上个月整月的数据以进行统计和计算指标,保证及时准确地输出数据报表和进行数据分析。小月需要每个月月初手动执行相同的补数据操作,而涉及到的节点较多,上下游依赖复杂,在选择节点时容易出错,小月需要对照历史的补数据记录进行重复配置。
此外,小月每个月需要手动上传数据表,并且需要在上传数据后手动刷新该表以及相关的上下游数据。这个过程需要根据数据依赖关系依次点击运行一组手动任务,等一个任务运行成功后再手动运行下游的任务。这个过程非常繁琐和容易出错,需要小月花费大量的时间和精力。

小月的日常工作充斥着繁琐的重复操作,Dataphin新功能上线后,小月使用了补数据任务的功能,通过一次简单的配置轻松地解决了上述的各种问题。

小月创建了一个补数据任务,自动保存了节点选择和运行规则的配置。每次下发收入分摊数据后,她只需要点击一次运行,就能帮助实现数据的更新,省去了她重复配置补数据的繁琐过程。
她还创建了一个每月1号回刷最近两个自然月数据的补数据任务。每月1号,补数据任务会自动执行,帮助小月更新上个月整月的数据,快速生成数据报表和计算指标,无需再进行重复操作。
对于每个月手动上传数据表后依次运行手动任务刷新数据的操作,小月将该组手动任务配置为空跑调度的周期任务,并配置好上下游的依赖关系。然后,她再配置了一个手动运行的补数据任务,将节点范围保存起来。当她每次上传数据表后,只需要手动运行一次补数据任务,无需再进行繁琐的手动任务运行操作,节省了大量的时间和精力。

借助补数据任务的功能,小月实现了通过一次简单的配置,轻松解决以上问题,满足她在类似场景中的各种需求。这个功能大大简化了繁琐的手动操作过程,提高了小月的工作效率和准确性。现在,小月可以更专注于数据分析的工作,而不用再花费大量的时间和精力在重复性的操作上了。

功能介绍

补数据任务支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。
以场景二为例,实现每月3号自动回刷上个月整月数据,具体操作步骤如下:

  1. 进入 Dataphin > 研发 > 运维 > 补数据任务
  2. 填写基本信息
  3. 选择补数据范围,需要先选择一个起始节点,选择起始节点的下游任务作为补数据范围
    image.png
  4. 进行运行配置
    a. 调度类型:选择定时调度
    b. 定时运行时间:选择 月 3日 00:00
    c. 补数据业务日期:选择最近N个自然月 1月自然月
    d. 预览最近运行时间及补数据业务日期:通过预览可以查看补数据任务的最近五个执行计划
    image.png
  5. 点击 确定,可以在补数据任务列表中查看和操作该任务,包括设置生效状态,手动运行,编辑,修改负责人,删除等
    手动运行该补数据任务相当于复用该任务所选的补数据节点范围及运行规则进行一次临时补数据,需要手动重新设定本次临时补数据的运行时间和业务日期
  6. 在定时运行时间的前一天的23点将会生成待提交实例,可以在 运维 > 补数据实例 > 待提交实例中查看,在定时运行时间前可以对该实例进行暂停操作;到达定时运行时间后,系统将会自动提交执行该补数据实例,可以在 运维 > 补数据实例 > 已提交实例中查看。

    总结

    类似的场景可以通过以上操作解决,场景三中提出的希望给手动任务添加依赖的需求也可以通过补数据任务解决,具体操作为:将该组手动任务配置为空跑调度的周期任务并为配置好上下游依赖关系,再配置一个手动运行的补数据任务将节点范围保存起来,设置空跑调度的任务补数据时正常跑,每次只需要手动运行一次补数据任务即可。补数据任务的功能能够很好的满足各种定时回刷历史数据的需求,大大降低人工操作和运维成本,为您带来更好的使用体验,欢迎体验!
相关文章
|
7月前
|
调度
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
一个销售额结算的周期任务的调度周期是月调度---每月1号进行调度,但是有一天调整了计算口径后希望重新计算过去几个月的销售额,此时补数据任务的业务日期应该如何选择?
164 4
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
|
7月前
|
SQL 安全 数据建模
Dataphin常见问题之计算任务没有按调度执行如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
SQL JSON 数据库连接
Dataphin常见问题之报415错误如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
2月前
|
人工智能 运维 自然语言处理
对话蚂蚁开源蒋炜:让 Agent 把运维人员从 24 小时的待命中解放出来
当整个行业的智慧都集中在一件事情上时,比起闭门造车,开源一定能带来更好的技术迭代和发展。CodeFuse 「编码挑战季」活动火热进行中,诚邀广大开发者们参与编码挑战
127 3
对话蚂蚁开源蒋炜:让 Agent 把运维人员从 24 小时的待命中解放出来
|
1月前
|
安全 Java 数据库连接
Dataphin的数据共享的应用场景和方案
不同的业务场景对数据访问和使用有着各自独特的需求,从简单的数据下载到复杂的跨系统集成,选择合适的数据共享与访问方式至关重要。本文旨在探讨几种常见的Dataphin上的数据共享与访问机制——包括数据复制、数据下载、视图创建、行级及列级权限控制、API数据服务以及JDBC连接等,并分析它们各自的适用场景、优势及限制,以帮助企业更好地根据自身需求做出合理的选择。
|
2月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
5月前
|
SQL 运维 安全
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
2027 2
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
4月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
218 1
|
6月前
|
资源调度 运维 Kubernetes
Dataphin实时研发任务资源预估与资源配置
在企业用户使用Dataphin的实时研发模块时,有两个基本问题是必须考虑的: 1. 短期上线一个实时业务,需要准备多少资源?企业在未来一年中,需要提前准备多少服务器/云资源? 2. 上线实时任务时,怎么配置需要的资源? 本文对这两个问题做简单介绍,期望企业用户能够快速理解资源预估原理和资源配置方法。
120 5
下一篇
DataWorks