DataWorks OpenAPI-表结构变更时触发任务变更

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 随着大数据在企业内部使用越来越广泛,很多业务落地慢慢的都依赖大数据的产出结果做为基础,业务的发展遍地开花产生了越来越多的任务,这些任务之间相互依赖也就越来越复杂,慢慢的超过人为可视、可梳理范围;当上游的数据口径发生变更的时候,对下游业务的影响就会形成放射性,影响难以预料,这时候就急需有一种功能来辅助我们的运维人员一起梳理出整个受影响的业务范围,以防数据口径不一致引起资损、或提供错误的数据导致决策失误。

工欲善其数,必先利其器!

DataWorks OpenAPI现已正式发布,通过自带的100多个API 功能,可以快速进行批量操作与系统集成对接等,助您显著提升数据开发效率!

(DataWorks OpenAPI限企业版及以上版本使用)

DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

moyu二维码.png


随着大数据在企业内部使用越来越广泛,很多业务落地慢慢的都依赖大数据的产出结果做为基础,业务的发展遍地开花产生了越来越多的任务,这些任务之间相互依赖也就越来越复杂,慢慢的超过人为可视、可梳理范围;当上游的数据口径发生变更的时候,对下游业务的影响就会形成放射性,影响难以预料,这时候就急需有一种功能来辅助我们的运维人员一起梳理出整个受影响的业务范围,以防数据口径不一致引起资损、或提供错误的数据导致决策失误。

今天我们来描述一下怎么依赖DataWorks的开放平台中对外提供的Open API、OpenData、消息订阅的方式来完成一张表口径发生变更时怎么 来做下游任务的血缘分析、通知对应的开发、运维人员做出任务变更防止错误数据扩散。

1614239095942-838e02b3-4026-45fa-9127-28b515428da2.png

解决方案

  • DataWorks开发平台对企业版提供消息(支持SLS消息订阅)、Open API、OpenData三种方式,具体参照:https://workbench.data.aliyun.com/console?#/openPlatform
  • 消息目前支持表变更、任务变更等,企业版用户可以去对接表变更的消息,当接收到表变更的时候去查表的血缘关系(字段血缘表血缘);查询表的血缘也可以改成查询任务的血缘
  • 根据字段血缘或表血缘查到受影响的表的列表,根据表列表获取对应的表的产出任务(根据表获取产出信息
  • 根据获取到的任务ID获取指定的任务详情通知任务owner确认业务影响(获取任务详情


基于以上的血缘能力在做表、任务变更的时候能快速的通知到下游任务owner,防止第二天的任务出现异常;也能在第二天出现异常的时候快速定位到当天是有哪些任务口径变更导致业务受到影响。


DataWorks OpenAPI实战系列:

数据开发全流程介绍

DataWorks OpenAPI 示例(元数据模块)


DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

提效神器,DataWorks OpenAPI开放7天免费试用!

moyu二维码.png

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
2月前
|
SQL DataWorks 大数据
DataWorks常见问题之审批角色变更失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
14天前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之在 DataWorks 中批量导出 MC 表结构如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
25 0
|
14天前
|
分布式计算 DataWorks NoSQL
DataWorks产品使用合集之在 DataWorks 中,离线同步的一键生成目标表结构功能不能识别 MongoDB 数据源如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 0
|
5月前
|
DataWorks 定位技术 数据库
DataWorks数据地图中没手工同步就可以查到修改后的表名,但是业务流程中【表结构】还是没有变化?
DataWorks数据地图中没手工同步就可以查到修改后的表名,但是业务流程中【表结构】还是没有变化?
35 1
|
JSON API 开发者
OpenAPI变更日志全新上线
通过OpenAPI变更日志功能,开发者可以一站式获取云产品OpenAPI的历史变更和新增信息。
OpenAPI变更日志全新上线
|
数据采集 运维 分布式计算
DataWorks OpenAPI 数据开发治理实战系列
DataWorks作为飞天大数据平台操作系统,历经11年发展,形成了涵盖数据集成、数据开发、数据治理、数据服务的一站式大数据开发治理平台。很多企业用户在使用产品的过程中希望他们的本地服务能够和阿里云上的DataWorks服务进行交互,从而提升企业大数据处理的效率,减少人工操作和运维工作,降低数据风险和企业成本,现在DataWorks开放OpenAPI能力满足企业的定制化需求。 DataWorks OpenAPI涵盖租户、元数据、数据开发、运维中心、数据质量、数据服务等DataWorks核心能力,企业版和旗舰版分别赠送100万次/月、1000万次/月的免费调用额度。
1018 0
DataWorks OpenAPI 数据开发治理实战系列
|
消息中间件 存储 运维
DataWorks OpenAPI企业开发实战-运维监控大屏
本文将会介绍如何通过使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。
1627 0
DataWorks OpenAPI企业开发实战-运维监控大屏
|
2月前
|
域名解析 弹性计算 tengine
阿里云DNS常见问题之阿里云OpenAPI判断域名的dns服务器是否在阿里云失败如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
2月前
|
JavaScript API 开发工具
阿里云OpenAPI AssignJobs返回404错误可能有以下几个原因:
【2月更文挑战第20天】阿里云OpenAPI AssignJobs返回404错误可能有以下几个原因:
59 1
|
3月前
|
云安全 安全 API
阿里云——OpenAPI使用——短信服务
阿里云——OpenAPI使用——短信服务
170 0

热门文章

最新文章

  • 1
    DataWorks操作报错合集之DataWorksUDF 报错:evaluate for user defined function xxx cannot be loaded from any resources,该怎么处理
    30
  • 2
    DataWorks操作报错合集之DataWorks任务异常 报错: GET_GROUP_SLOT_EXCEPTION 该怎么处理
    24
  • 3
    DataWorks操作报错合集之在DataWorks中,任务流在调度时间到达时停止运行,是什么原因导致的
    31
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
    26
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度,参数解析不出来,收到了 "Table does not exist" 的错误,该怎么处理
    25
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
    28
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null,该怎么解决
    33
  • 8
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
    28
  • 9
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02],mysql里面有个json类型字段,是什么原因导致的
    30
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
    24
  • 相关产品

  • 大数据开发治理平台 DataWorks