DataWorks OpenAPI-表结构变更时触发任务变更

简介: 随着大数据在企业内部使用越来越广泛,很多业务落地慢慢的都依赖大数据的产出结果做为基础,业务的发展遍地开花产生了越来越多的任务,这些任务之间相互依赖也就越来越复杂,慢慢的超过人为可视、可梳理范围;当上游的数据口径发生变更的时候,对下游业务的影响就会形成放射性,影响难以预料,这时候就急需有一种功能来辅助我们的运维人员一起梳理出整个受影响的业务范围,以防数据口径不一致引起资损、或提供错误的数据导致决策失误。

工欲善其数,必先利其器!

DataWorks OpenAPI现已正式发布,通过自带的100多个API 功能,可以快速进行批量操作与系统集成对接等,助您显著提升数据开发效率!

(DataWorks OpenAPI限企业版及以上版本使用)

DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

moyu二维码.png


随着大数据在企业内部使用越来越广泛,很多业务落地慢慢的都依赖大数据的产出结果做为基础,业务的发展遍地开花产生了越来越多的任务,这些任务之间相互依赖也就越来越复杂,慢慢的超过人为可视、可梳理范围;当上游的数据口径发生变更的时候,对下游业务的影响就会形成放射性,影响难以预料,这时候就急需有一种功能来辅助我们的运维人员一起梳理出整个受影响的业务范围,以防数据口径不一致引起资损、或提供错误的数据导致决策失误。

今天我们来描述一下怎么依赖DataWorks的开放平台中对外提供的Open API、OpenData、消息订阅的方式来完成一张表口径发生变更时怎么 来做下游任务的血缘分析、通知对应的开发、运维人员做出任务变更防止错误数据扩散。

1614239095942-838e02b3-4026-45fa-9127-28b515428da2.png

解决方案

  • DataWorks开发平台对企业版提供消息(支持SLS消息订阅)、Open API、OpenData三种方式,具体参照:https://workbench.data.aliyun.com/console?#/openPlatform
  • 消息目前支持表变更、任务变更等,企业版用户可以去对接表变更的消息,当接收到表变更的时候去查表的血缘关系(字段血缘表血缘);查询表的血缘也可以改成查询任务的血缘
  • 根据字段血缘或表血缘查到受影响的表的列表,根据表列表获取对应的表的产出任务(根据表获取产出信息
  • 根据获取到的任务ID获取指定的任务详情通知任务owner确认业务影响(获取任务详情


基于以上的血缘能力在做表、任务变更的时候能快速的通知到下游任务owner,防止第二天的任务出现异常;也能在第二天出现异常的时候快速定位到当天是有哪些任务口径变更导致业务受到影响。


DataWorks OpenAPI实战系列:

数据开发全流程介绍

DataWorks OpenAPI 示例(元数据模块)


DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

提效神器,DataWorks OpenAPI开放7天免费试用!

moyu二维码.png

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
SQL 运维 分布式计算
DataWorks产品使用合集之迁移表结构该如何操作
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
211 2
|
Prometheus DataWorks 安全
DataWorks产品使用合集之如何完成更新完自动推送到外部系统触发更新
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
203 2
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之如何配置基线告警触发规则
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
280 1
|
缓存 DataWorks 安全
DataWorks产品使用合集之如何进行触发式任务执行流程
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
361 1
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之触发了一个具有环状依赖的节点,导致任务无法正常终止,该怎么解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
数据采集 运维 DataWorks
DataWorks产品使用合集之跨项目克隆时,如何迁移表结构
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
SQL 运维 DataWorks
DataWorks产品使用合集之如何通过OpenAPI获取SQL任务每次提交的SQL变更内容
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之重新拉取表结构可以如何实现
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
186 5
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据地图中的信息发生修改,但是业务流程中的表结构没有相应变化,是什么导致的
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
198 6
|
分布式计算 DataWorks Oracle
MaxCompute产品使用问题之dataworks怎么导出所有maxcompute表的表结构
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
256 1

相关产品

  • 大数据开发治理平台 DataWorks