【Dataphin运维】解放双手,支持补数据任务定时调度和手动运行,轻松实现回刷历史数据

简介: Datatphin V3.11版本全新上线补数据任务功能,支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。满足企业复杂多样的回刷历史数据的需求,减少人工操作成本。

Datatphin V3.11版本全新上线补数据任务功能,支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。满足企业复杂多样的回刷历史数据的需求,减少人工操作成本。

背景

小月是某企业的数据分析人员,在她的日常工作中经常面临一些问题:
小月需要处理收入分摊数据,数据隔几天会不定期下发一次,为保证数据准确性和及时性,每次下发数据后,小月需要手动更新最近两个月的数据。这个过程非常繁琐和重复,每次都需要手动执行相同的操作。这样一来,小月需要花费大量的时间和精力来完成这个任务。
每个月初,小月需要根据最新的数据统计口径更新上个月整月的数据以进行统计和计算指标,保证及时准确地输出数据报表和进行数据分析。小月需要每个月月初手动执行相同的补数据操作,而涉及到的节点较多,上下游依赖复杂,在选择节点时容易出错,小月需要对照历史的补数据记录进行重复配置。
此外,小月每个月需要手动上传数据表,并且需要在上传数据后手动刷新该表以及相关的上下游数据。这个过程需要根据数据依赖关系依次点击运行一组手动任务,等一个任务运行成功后再手动运行下游的任务。这个过程非常繁琐和容易出错,需要小月花费大量的时间和精力。

小月的日常工作充斥着繁琐的重复操作,Dataphin新功能上线后,小月使用了补数据任务的功能,通过一次简单的配置轻松地解决了上述的各种问题。

小月创建了一个补数据任务,自动保存了节点选择和运行规则的配置。每次下发收入分摊数据后,她只需要点击一次运行,就能帮助实现数据的更新,省去了她重复配置补数据的繁琐过程。
她还创建了一个每月1号回刷最近两个自然月数据的补数据任务。每月1号,补数据任务会自动执行,帮助小月更新上个月整月的数据,快速生成数据报表和计算指标,无需再进行重复操作。
对于每个月手动上传数据表后依次运行手动任务刷新数据的操作,小月将该组手动任务配置为空跑调度的周期任务,并配置好上下游的依赖关系。然后,她再配置了一个手动运行的补数据任务,将节点范围保存起来。当她每次上传数据表后,只需要手动运行一次补数据任务,无需再进行繁琐的手动任务运行操作,节省了大量的时间和精力。

借助补数据任务的功能,小月实现了通过一次简单的配置,轻松解决以上问题,满足她在类似场景中的各种需求。这个功能大大简化了繁琐的手动操作过程,提高了小月的工作效率和准确性。现在,小月可以更专注于数据分析的工作,而不用再花费大量的时间和精力在重复性的操作上了。

功能介绍

补数据任务支持将单次补数据保存为补数据任务,保存补数据节点范围及运行规则;支持补数据任务定时调度,自动定期回刷历史数据;支持手动运行补数据任务。
以场景二为例,实现每月3号自动回刷上个月整月数据,具体操作步骤如下:

  1. 进入 Dataphin > 研发 > 运维 > 补数据任务
  2. 填写基本信息
  3. 选择补数据范围,需要先选择一个起始节点,选择起始节点的下游任务作为补数据范围
    image.png
  4. 进行运行配置
    a. 调度类型:选择定时调度
    b. 定时运行时间:选择 月 3日 00:00
    c. 补数据业务日期:选择最近N个自然月 1月自然月
    d. 预览最近运行时间及补数据业务日期:通过预览可以查看补数据任务的最近五个执行计划
    image.png
  5. 点击 确定,可以在补数据任务列表中查看和操作该任务,包括设置生效状态,手动运行,编辑,修改负责人,删除等
    手动运行该补数据任务相当于复用该任务所选的补数据节点范围及运行规则进行一次临时补数据,需要手动重新设定本次临时补数据的运行时间和业务日期
  6. 在定时运行时间的前一天的23点将会生成待提交实例,可以在 运维 > 补数据实例 > 待提交实例中查看,在定时运行时间前可以对该实例进行暂停操作;到达定时运行时间后,系统将会自动提交执行该补数据实例,可以在 运维 > 补数据实例 > 已提交实例中查看。

    总结

    类似的场景可以通过以上操作解决,场景三中提出的希望给手动任务添加依赖的需求也可以通过补数据任务解决,具体操作为:将该组手动任务配置为空跑调度的周期任务并为配置好上下游依赖关系,再配置一个手动运行的补数据任务将节点范围保存起来,设置空跑调度的任务补数据时正常跑,每次只需要手动运行一次补数据任务即可。补数据任务的功能能够很好的满足各种定时回刷历史数据的需求,大大降低人工操作和运维成本,为您带来更好的使用体验,欢迎体验!
相关文章
|
8月前
|
敏捷开发 SQL 运维
运维进度看板工具全景攻略:如何通过工具实现任务、责任和协作的完美结合
运维进度看板工具通过可视化任务流程,提升运维团队协作效率与透明度,解决任务无人跟进、信息碎片化、责任不清等问题,助力任务高效流转与项目有序推进。
|
11月前
|
SQL Java 关系型数据库
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
324 5
|
7月前
|
SQL 人工智能 搜索推荐
Dataphin功能Tips系列(71)X-数据管家:数据资产运营的「AI外挂」
在企业数据治理中,数据资产规模庞大、字段繁多,手动录入效率低且易出错。Dataphin推出「X-数据管家」,利用大模型智能生成标签、描述及字段类型等信息,支持一键批量上架,大幅提升资产运营效率。
244 0
|
11月前
|
数据采集 存储 监控
星河中的数据旅程:从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理
在数据星河中,Starrocks星球的字段居民渴望登上资产管理平台,贡献数据力量。通过元数据采集、标准稽核与质量监控,字段们获得新身份“核心业务指标”。借助Dataphin平台功能,如自定义属性和QuickBI对接,它们最终参与经营分析报表,助力决策。Dataphin V4.4提升了全链路管理能力,新增大数据存储元数据采集、自定义指标等功能,释放数据潜力。加入Dataphin,探索数据无限可能!
244 8
|
数据采集 SQL 人工智能
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
AI技术的快速发展促使企业重新审视数据治理的重要性。当前,企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出,以数据标准为核心贯穿数据全生命周期,可有效解决治理难题。
717 15
告别数据混乱:瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期
|
10月前
|
运维 安全 数据管理
Dataphin V5.1 企业级发布:全球数据无缝集成,指标管理全新升级!
企业数据管理难题?Dataphin 5.1版来解决!聚焦跨云数据、研发效率、指标管理和平台运维四大场景,助力数据团队轻松应对挑战。无论是统一指标标准、快速定位问题,还是提升管理安全性,Dataphin都能提供强大支持。3分钟了解新版本亮点,让数据治理更高效!
163 0
|
12月前
|
分布式计算 监控 安全
产品评测|从数据标准到实时监控,深度解析Dataphin如何以智能提效与安全合规驱动企业数据价值释放
Dataphin是阿里巴巴基于OneData方法论打造的一站式数据治理与建设平台,帮助企业实现数据全生命周期管理。本文详细记录了使用Dataphin搭建离线数仓的全流程,包括环境准备、数仓规划、数据引入、处理、周期任务补数据、数据验证与分析等环节。体验中发现其离线管道任务、周期调度、补数据功能便捷高效,但也存在系统稳定性不足、文档更新滞后等问题。建议增强对JSON文件支持、优化资源推荐机制并完善脱敏操作功能,进一步提升用户体验。
|
11月前
|
数据采集 机器学习/深度学习 人工智能
运维人的“福音”?AI 驱动的自动化网络监控到底香不香!
运维人的“福音”?AI 驱动的自动化网络监控到底香不香!
1192 0
|
6月前
|
人工智能 运维 监控
运维安全还能靠“人盯人”?别闹了,聊聊自动化处理的真功夫
运维安全还能靠“人盯人”?别闹了,聊聊自动化处理的真功夫
242 17

热门文章

最新文章

下一篇
开通oss服务