DataWorks OpenAPI企业开发实战-运维监控大屏

简介: 本文将会介绍如何通过使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。

工欲善其数,必先利其器!

DataWorks OpenAPI现已正式发布,通过自带的100多个API 功能,可以快速进行批量操作与系统集成对接等,助您显著提升数据开发效率!

(DataWorks OpenAPI限企业版及以上版本使用)

DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

moyu二维码.png


本文将会介绍如何使用DataWorks OpenAPI、DataWorks开放元数据、DataWorks开放事件消息三大利器搭建企业自己的DataWorks运维大屏。其中DataWorks OpenAPI已经面向所有企业开放商业化,而DataWorks开放元数据、DataWorks开放事件消息还在邀测中。


租户级别运维监控

1、任务大盘

监控1.png

如上图所示,我们可以在大屏上展示每天的节点总数和产生的实例(任务)总数以及他们的环比情况,那么可以通过DataWorks开放元数据的表raw_v_schedule_node的数据计算出每日的节点总数然后再回流到RDS,通过raw_v_schedule_task表的数据则可以计算出每日的实例总数然后再回流到RDS,这样就能得到每日的总数,经过计算后计算出环比。

想要使用DataWorks开放元数据的表需要在我们的邀测名单中,给主账号完成表授权后就能使用自己的数据了。


2、任务运行趋势图

监控2.png

该图展示DataWorks每日任务完成情况,这个监控图需要借助DataWorks开放事件消息的实时数据来统计完成,DataWorks开放事件消息目前邀测开放了调度任务事件消息和元数据表事件消息两种事件消息,订阅调度任务事件消息后可实时拿到调度任务的实时运行情况,比如某个任务开始等时间时就能收一条DataWorks事件消息,在本地系统接收到该消息后能拿到任务的概要信息,如果想要获取该任务的更多信息可以通过调用GetInstance接口获取。任务从未运行->等时间->等资源->开始运行->运行成功整个运行生命周期都能订阅到事件消息,拿到实例信息后可以存储到RDS,经过积累后就能形成上面所示的任务运行情况趋势图了。

通过调度的事件消息数据不仅可以展示任务完成情况,还能展示任务各时间段等资源、运行中、运行失败情况。想要订阅DataWorks开放事件消息需要在我们的邀测名单中,我们颁发DataWorks的Kafka Topic以及账密后就能订阅到自己的消息了。


3、任务类型分布图

监控3.png

基于第2节中从raw_v_schedule_node统计的数据也可以拿到任务类型分布图中。任务类型对应的字段是prgName。


项目级别运维监控

1、周期实例数量趋势图

监控4.png

通过调用DataWorks OpenAPI的接口 ListInstanceAmount 即可拿到某项目下的周期实例运行数据,参考文档https://help.aliyun.com/document_detail/212602.html


2、实例运行时长排行

监控5.png

通过调用DataWorks OpenAPI的接口 TopTenElapsedTimeInstance 即可拿到某项目下实例运行时长数据,参考文档https://help.aliyun.com/document_detail/212579.html


3、实例运行出错排行

监控6.png

通过调用DataWorks OpenAPI的接口 TopTenErrorTimesInstance 即可拿到某项目下近一个月节点的出错数据,参考文档https://help.aliyun.com/document_detail/212587.html


4、结语

以上内容介绍了运维大屏的一些基础功能和如何使用DataWorks OpenAPI的能力来实现,基于这些能力用户可以挖掘出更多丰富的需求和场景,如果您有更好的想法也可以联系我们。

本文案例中使用到的API列表:

ListInstanceAmount

TopTenElapsedTimeInstance

TopTenErrorTimesInstance

本文案例中使用到的元数据表列表:

raw_v_schedule_node

raw_v_schedule_task

本文案例中使用到的事件消息:任务调度事件


DataWorks OpenAPI实战系列:

数据开发全流程介绍



DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

提效神器,DataWorks OpenAPI开放7天免费试用!

moyu二维码.png


相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
7月前
|
人工智能 OLAP 数据处理
解锁数仓内AI流水线,AnalyticDB Ray基于多模ETL+ML提效开发与运维
AnalyticDB Ray 是AnalyticDB MySQL 推出的全托管Ray服务,基于开源 Ray 的丰富生态,经过多模态处理、具身智能、搜索推荐、金融风控等场景的锤炼,对Ray内核和服务能力进行了全栈增强。
|
6月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
563 0
|
10月前
|
人工智能 运维 安全
AI大模型运维开发探索第四篇:智能体分阶段演进路线
本文探讨了智能体工程的演进历程,从最初的思维链(智能体1.0)到实例化智能体(智能体2.0),再到结构化智能体(智能体3.0),最终展望了自演进智能体(智能体4.0)。文章详细分析了各阶段遇到的问题及解决策略,如工具调用可靠性、推理能力提升等,并引入了大模型中间件的概念以优化业务平台与工具间的协调。此外,文中还提到了RunnableHub开源项目,为读者提供了实际落地的参考方案。通过不断迭代,智能体逐渐具备更强的适应性和解决问题的能力,展现了未来AI发展的潜力。
|
6月前
|
敏捷开发 运维 数据可视化
DevOps看板工具中的协作功能:如何打破开发、测试与运维之间的沟通壁垒
在DevOps实践中,看板工具通过可视化任务管理和自动化流程,提升开发与运维团队的协作效率。它支持敏捷开发、持续交付,助力团队高效应对需求变化,实现跨职能协作与流程优化。
|
6月前
|
人工智能 运维 自然语言处理
首个智能体模型实测:产品、开发、运维“全包了”
2025年,AI进入“动手”时代。智谱发布新一代大模型GLM-4.5,全球排名第三、国产第一,专为智能体设计,融合推理、编码与智能体能力,实现自主规划与执行任务。通过8个Demo展示其强大能力,涵盖网页设计、课件制作、小游戏开发等,展现其“带手的脑”特性,推动AI从实验室走向真实场景。
381 0
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
1169 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
存储 运维 安全
Spring运维之boot项目多环境(yaml 多文件 proerties)及分组管理与开发控制
通过以上措施,可以保证Spring Boot项目的配置管理在专业水准上,并且易于维护和管理,符合搜索引擎收录标准。
883 2
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks