DataWorks OpenAPI企业开发实战-运维监控大屏

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 本文将会介绍如何通过使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。

工欲善其数,必先利其器!

DataWorks OpenAPI现已正式发布,通过自带的100多个API 功能,可以快速进行批量操作与系统集成对接等,助您显著提升数据开发效率!

(DataWorks OpenAPI限企业版及以上版本使用)

DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

moyu二维码.png


本文将会介绍如何使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。


租户级别运维监控

1、任务大盘

监控1.png

如上图所示,我们可以在大屏上展示每天的节点总数和产生的实例(任务)总数以及他们的环比情况,那么可以通过DataWorks开放元数据的表raw_v_schedule_node的数据计算出每日的节点总数然后再回流到RDS,通过raw_v_schedule_task表的数据则可以计算出每日的实例总数然后再回流到RDS,这样就能得到每日的总数,经过计算后计算出环比。

想要使用DataWorks开放元数据的表需要在我们的邀测名单中,给主账号完成表授权后就能使用自己的数据了。


2、任务运行趋势图

监控2.png

该图展示DataWorks每日任务完成情况,这个监控图需要借助DataWorks开放事件消息的实时数据来统计完成,DataWorks开放事件消息目前邀测开放了调度任务事件消息和元数据表事件消息两种事件消息,订阅调度任务事件消息后可实时拿到调度任务的实时运行情况,比如某个任务开始等时间时就能收一条DataWorks事件消息,在本地系统接收到该消息后能拿到任务的概要信息,如果想要获取该任务的更多信息可以通过调用GetInstance接口获取。任务从未运行->等时间->等资源->开始运行->运行成功整个运行生命周期都能订阅到事件消息,拿到实例信息后可以存储到RDS,经过积累后就能形成上面所示的任务运行情况趋势图了。

通过调度的事件消息数据不仅可以展示任务完成情况,还能展示任务各时间段等资源、运行中、运行失败情况。想要订阅DataWorks开放事件消息需要在我们的邀测名单中,我们颁发DataWorks的Kafka Topic以及账密后就能订阅到自己的消息了。


3、任务类型分布图

监控3.png

基于第2节中从raw_v_schedule_node统计的数据也可以拿到任务类型分布图中。任务类型对应的字段是prgName。


项目级别运维监控

1、周期实例数量趋势图

监控4.png

通过调用DataWorks OpenAPI的接口 ListInstanceAmount 即可拿到某项目下的周期实例运行数据,参考文档https://help.aliyun.com/document_detail/212602.html


2、实例运行时长排行

监控5.png

通过调用DataWorks OpenAPI的接口 TopTenElapsedTimeInstance 即可拿到某项目下实例运行时长数据,参考文档https://help.aliyun.com/document_detail/212579.html


3、实例运行出错排行

监控6.png

通过调用DataWorks OpenAPI的接口 TopTenErrorTimesInstance 即可拿到某项目下近一个月节点的出错数据,参考文档https://help.aliyun.com/document_detail/212587.html


4、结语

以上内容介绍了运维大屏的一些基础功能和如何使用DataWorks OpenAPI的能力来实现,基于这些能力用户可以挖掘出更多丰富的需求和场景,如果您有更好的想法也可以联系我们。

本文案例中使用到的API列表:

ListInstanceAmount

TopTenElapsedTimeInstance

TopTenErrorTimesInstance

本文案例中使用到的元数据表列表:

raw_v_schedule_node

raw_v_schedule_task

本文案例中使用到的事件消息:任务调度事件


DataWorks OpenAPI实战系列:

数据开发全流程介绍



DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

提效神器,DataWorks OpenAPI开放7天免费试用!

moyu二维码.png


相关实践学习
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
2天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之在使用ODPSSQL节点进行SQL任务开发时,如何执行大量的SQL语句
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
16 4
|
3天前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之如何创建开发任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
9 1
|
13天前
|
机器学习/深度学习 人工智能 运维
现代企业中的自动化运维技术与挑战
随着信息技术的迅猛发展,现代企业在面对日益复杂的技术架构和运营需求时,越来越多地依赖自动化运维技术来提升效率和稳定性。本文探讨了自动化运维技术的实施现状、关键挑战以及未来的发展方向,旨在为企业决策者和技术从业者提供深入的思考和实践指导。
29 1
|
14天前
|
运维 监控 持续交付
自动化运维:提升企业IT效率的利器
在数字化浪潮席卷全球的今天,企业对于IT系统的依赖程度日益加深。然而,随着系统复杂性的增加,传统的手动运维方式已难以满足快速、高效的业务需求。自动化运维,作为一种新兴的解决方案,正逐步成为提升企业IT效率的关键。本文将深入探讨自动化运维的核心价值及其实施策略,为企业打造高效、稳定的IT环境提供实用指南。
|
15天前
|
运维 监控
自动化运维助力企业高效管理
传统的手动运维方式已经无法满足日益复杂的企业需求,因此引入自动化运维成为一种必然选择。本文将介绍自动化运维的优势和实践方法,以及它如何帮助企业实现高效的管理。
20 2
|
22天前
|
分布式计算 DataWorks 大数据
DataWorks操作报错合集之在尝试创建数据开发节点时遇到了权限问题,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2天前
|
运维 分布式计算 DataWorks
DataWorks产品使用合集之如何访问周期任务运维
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
6 0
|
4天前
|
SQL 运维 分布式计算
DataWorks操作报错合集之购买了独享的调度资源组,在运维界面批量修改调度资源组报错了,而且也没有资源组显示,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
7 0
|
15天前
|
运维 监控 负载均衡
现代企业IT运维管理的挑战与应对策略
在当今数字化快速发展的环境下,企业IT运维管理面临着越来越多的复杂挑战。本文探讨了这些挑战的根源,并提出了有效的应对策略,旨在帮助企业更好地应对现代技术运维的各种挑战。
|
2月前
|
分布式计算 DataWorks 数据管理
DataWorks操作报错合集之在DataWorks数据开发模块中一直显示“工作空间默认初始化中”,该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
43 3

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks