DataWorks OpenAPI企业开发实战-运维监控大屏-阿里云开发者社区

开发者社区> DataWorks团队> 正文

DataWorks OpenAPI企业开发实战-运维监控大屏

简介: 本文将会介绍如何通过使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。
+关注继续查看

工欲善其数,必先利其器!

DataWorks OpenAPI现已正式发布,通过自带的100多个API 功能,可以快速进行批量操作与系统集成对接等,助您显著提升数据开发效率!

(DataWorks OpenAPI限企业版及以上版本使用)

DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

moyu二维码.png


本文将会介绍如何使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。


租户级别运维监控

1、任务大盘

监控1.png

如上图所示,我们可以在大屏上展示每天的节点总数和产生的实例(任务)总数以及他们的环比情况,那么可以通过DataWorks开放元数据的表raw_v_schedule_node的数据计算出每日的节点总数然后再回流到RDS,通过raw_v_schedule_task表的数据则可以计算出每日的实例总数然后再回流到RDS,这样就能得到每日的总数,经过计算后计算出环比。

想要使用DataWorks开放元数据的表需要在我们的邀测名单中,给主账号完成表授权后就能使用自己的数据了。


2、任务运行趋势图

监控2.png

该图展示DataWorks每日任务完成情况,这个监控图需要借助DataWorks开放事件消息的实时数据来统计完成,DataWorks开放事件消息目前邀测开放了调度任务事件消息和元数据表事件消息两种事件消息,订阅调度任务事件消息后可实时拿到调度任务的实时运行情况,比如某个任务开始等时间时就能收一条DataWorks事件消息,在本地系统接收到该消息后能拿到任务的概要信息,如果想要获取该任务的更多信息可以通过调用GetInstance接口获取。任务从未运行->等时间->等资源->开始运行->运行成功整个运行生命周期都能订阅到事件消息,拿到实例信息后可以存储到RDS,经过积累后就能形成上面所示的任务运行情况趋势图了。

通过调度的事件消息数据不仅可以展示任务完成情况,还能展示任务各时间段等资源、运行中、运行失败情况。想要订阅DataWorks开放事件消息需要在我们的邀测名单中,我们颁发DataWorks的Kafka Topic以及账密后就能订阅到自己的消息了。


3、任务类型分布图

监控3.png

基于第2节中从raw_v_schedule_node统计的数据也可以拿到任务类型分布图中。任务类型对应的字段是prgName。


项目级别运维监控

1、周期实例数量趋势图

监控4.png

通过调用DataWorks OpenAPI的接口 ListInstanceAmount 即可拿到某项目下的周期实例运行数据,参考文档https://help.aliyun.com/document_detail/212602.html


2、实例运行时长排行

监控5.png

通过调用DataWorks OpenAPI的接口 TopTenElapsedTimeInstance 即可拿到某项目下实例运行时长数据,参考文档https://help.aliyun.com/document_detail/212579.html


3、实例运行出错排行

监控6.png

通过调用DataWorks OpenAPI的接口 TopTenErrorTimesInstance 即可拿到某项目下近一个月节点的出错数据,参考文档https://help.aliyun.com/document_detail/212587.html


4、结语

以上内容介绍了运维大屏的一些基础功能和如何使用DataWorks OpenAPI的能力来实现,基于这些能力用户可以挖掘出更多丰富的需求和场景,如果您有更好的想法也可以联系我们。

本文案例中使用到的API列表:

ListInstanceAmount

TopTenElapsedTimeInstance

TopTenErrorTimesInstance

本文案例中使用到的元数据表列表:

raw_v_schedule_node

raw_v_schedule_task

本文案例中使用到的事件消息:任务调度事件


DataWorks OpenAPI实战系列:

数据开发全流程介绍



DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

提效神器,DataWorks OpenAPI开放7天免费试用!

moyu二维码.png


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用企业安全组导致自建SNAT网关网络不通
使用企业安全组导致自建SNAT网关网络不通
175 0
《React Native移动开发实战》一一2.2 Git版本控制工具
本节书摘来自华章出版社《React Native移动开发实战》一 书中的第2章,第2.2节,作者:袁林 著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1763 0
《React Native移动开发实战》一一1.6 小 结
本节书摘来自华章出版社《React Native移动开发实战》一 书中的第1章,第1.6节,作者:袁林 著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
827 0
+关注
DataWorks团队
DataWorks团队号,一站式大数据开发治理平台
85
文章
1
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载