DataWorks OpenAPI企业开发实战-运维监控大屏

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: 本文将会介绍如何通过使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。

工欲善其数,必先利其器!

DataWorks OpenAPI现已正式发布,通过自带的100多个API 功能,可以快速进行批量操作与系统集成对接等,助您显著提升数据开发效率!

(DataWorks OpenAPI限企业版及以上版本使用)

DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

moyu二维码.png


本文将会介绍如何使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。


租户级别运维监控

1、任务大盘

监控1.png

如上图所示,我们可以在大屏上展示每天的节点总数和产生的实例(任务)总数以及他们的环比情况,那么可以通过DataWorks开放元数据的表raw_v_schedule_node的数据计算出每日的节点总数然后再回流到RDS,通过raw_v_schedule_task表的数据则可以计算出每日的实例总数然后再回流到RDS,这样就能得到每日的总数,经过计算后计算出环比。

想要使用DataWorks开放元数据的表需要在我们的邀测名单中,给主账号完成表授权后就能使用自己的数据了。


2、任务运行趋势图

监控2.png

该图展示DataWorks每日任务完成情况,这个监控图需要借助DataWorks开放事件消息的实时数据来统计完成,DataWorks开放事件消息目前邀测开放了调度任务事件消息和元数据表事件消息两种事件消息,订阅调度任务事件消息后可实时拿到调度任务的实时运行情况,比如某个任务开始等时间时就能收一条DataWorks事件消息,在本地系统接收到该消息后能拿到任务的概要信息,如果想要获取该任务的更多信息可以通过调用GetInstance接口获取。任务从未运行->等时间->等资源->开始运行->运行成功整个运行生命周期都能订阅到事件消息,拿到实例信息后可以存储到RDS,经过积累后就能形成上面所示的任务运行情况趋势图了。

通过调度的事件消息数据不仅可以展示任务完成情况,还能展示任务各时间段等资源、运行中、运行失败情况。想要订阅DataWorks开放事件消息需要在我们的邀测名单中,我们颁发DataWorks的Kafka Topic以及账密后就能订阅到自己的消息了。


3、任务类型分布图

监控3.png

基于第2节中从raw_v_schedule_node统计的数据也可以拿到任务类型分布图中。任务类型对应的字段是prgName。


项目级别运维监控

1、周期实例数量趋势图

监控4.png

通过调用DataWorks OpenAPI的接口 ListInstanceAmount 即可拿到某项目下的周期实例运行数据,参考文档https://help.aliyun.com/document_detail/212602.html


2、实例运行时长排行

监控5.png

通过调用DataWorks OpenAPI的接口 TopTenElapsedTimeInstance 即可拿到某项目下实例运行时长数据,参考文档https://help.aliyun.com/document_detail/212579.html


3、实例运行出错排行

监控6.png

通过调用DataWorks OpenAPI的接口 TopTenErrorTimesInstance 即可拿到某项目下近一个月节点的出错数据,参考文档https://help.aliyun.com/document_detail/212587.html


4、结语

以上内容介绍了运维大屏的一些基础功能和如何使用DataWorks OpenAPI的能力来实现,基于这些能力用户可以挖掘出更多丰富的需求和场景,如果您有更好的想法也可以联系我们。

本文案例中使用到的API列表:

ListInstanceAmount

TopTenElapsedTimeInstance

TopTenErrorTimesInstance

本文案例中使用到的元数据表列表:

raw_v_schedule_node

raw_v_schedule_task

本文案例中使用到的事件消息:任务调度事件


DataWorks OpenAPI实战系列:

数据开发全流程介绍



DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

提效神器,DataWorks OpenAPI开放7天免费试用!

moyu二维码.png


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
8天前
|
运维 Java Linux
【运维基础知识】掌握VI编辑器:提升你的Java开发效率
本文详细介绍了VI编辑器的常用命令,包括模式切换、文本编辑、搜索替换及退出操作,帮助Java开发者提高在Linux环境下的编码效率。掌握这些命令,将使你在开发过程中更加得心应手。
11 2
|
2月前
|
数据采集 存储 分布式计算
构建智能数据湖:DataWorks助力企业实现数据驱动转型
【8月更文第25天】本文将详细介绍如何利用阿里巴巴云的DataWorks平台构建一个智能、灵活、可扩展的数据湖存储体系,以帮助企业实现数据驱动的业务转型。我们将通过具体的案例和技术实践来展示DataWorks如何集成各种数据源,并通过数据湖进行高级分析和挖掘,最终基于数据洞察驱动业务增长和创新。
204 53
|
5天前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
15 0
|
2月前
|
运维 Devops 持续交付
自动化运维之路:从脚本到DevOps探索后端开发:从基础到高级实践
【8月更文挑战第28天】在数字化时代的浪潮中,企业对于IT运维的要求越来越高。从最初的手动执行脚本,到如今的自动化运维和DevOps实践,本文将带你领略运维的演变之旅。我们将探索如何通过编写简单的自动化脚本来提升效率,进而介绍DevOps文化的兴起及其对现代运维的影响。文章将为你揭示,通过持续集成、持续部署和微服务架构的实践,如何构建一个高效、可靠的运维体系。准备好让你的运维工作变得更加智能化和自动化了吗?让我们一起踏上这段旅程。 【8月更文挑战第28天】 本文旨在为初学者和有一定经验的开发者提供一个深入浅出的后端开发之旅。我们将一起探索后端开发的多个方面,包括语言选择、框架应用、数据库设计
|
2月前
|
运维 分布式计算 DataWorks
DataWorks产品使用合集之运维中心中的运行日志可以保留多久
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
2月前
|
敏捷开发 运维 Devops
DevOps文化:打破开发与运维之间的壁垒
【8月更文挑战第14天】DevOps文化是现代软件开发和运维的重要趋势之一。通过打破开发与运维之间的壁垒,实现自动化、持续集成/持续部署以及紧密协作等关键实践,可以显著提高软件交付的质量和效率。对于任何希望在数字化时代保持竞争力的企业来说,拥抱DevOps文化无疑是一个明智的选择。
|
2月前
|
数据采集 SQL 运维
DataWorks产品使用合集之运维中心的详细日志是一直wait,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
2月前
|
运维 Devops 数据库
太卷了!DevOps,就是开发要把运维卷跑了?
太卷了!DevOps,就是开发要把运维卷跑了?
|
2月前
|
运维 监控 Kubernetes
揭秘运维开发:如何让你的系统更高效、更可靠?
揭秘运维开发:如何让你的系统更高效、更可靠?
|
2月前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks