大数据与机器学习:实践方法与行业案例.2.5 监控和预警-阿里云开发者社区

开发者社区> 华章计算机> 正文

大数据与机器学习:实践方法与行业案例.2.5 监控和预警

简介:
+关注继续查看

2.5 监控和预警

监控和预警存在于数据闭环的各个阶段,在所有的自动执行环节均可以植入监控和预警点。前期对ETL所做的规范,现在是体现其应用价值的时候了。可以利用这些满足规范的日志记录进行自动监控和预警。

如果有专职的运维人员负责作业的运行监控,使用专门的监控工具,运维工程师可以监控各个服务器的运行信息,并通过监控工具发送预警邮件。

如果仅仅是ETL工程师负责监控自己的ETL作业,那么可以使用BI工具进行监控和预警。

2.5.1 使用监控工具进行监控

有众多的开源监控工具可供使用,如Zipkin、Ramona、zabbix、Ganglia、Nagios等,这些监控工具提供了许多定制的监控和预警服务,但它们通常比较偏于底层日志,如Zabbix主要用来监控CPU负荷、内存使用、磁盘使用、网络状况、端口监视和日志监视。这些监控信息对于保证数据环境的健康运行至关重要,可以根据CPU负荷、内存和磁盘的使用情况进行预警,比如在CPU负荷持续达到90%时进行预警,或者在磁盘使用90%时进行预警等。

监控工具专注于系统可用性方面的监控,如果要专注于ETL作业的运行情况,那么可以使用BI报表工具进行监控。

2.5.2 使用BI工具进行监控

BI(business intelligence)工具是企业环境中广泛使用的数据可视化工具,它可提供丰富的数据可视化能力,同时可提供短信、邮件等通知服务。

鉴于数据的监控和预警本身是基于日志信息的,因此可以使用BI工具丰富的展示和通知服务进行数据系统的监控和预警。

基于图2-12中的ETL作业日志表,BI工具可以定制图形化监控报表,并以Web页面的形式展示出来。作业负责人或者运营人员可以登录该BI系统,查看监控相应的页面,便可以监控作业是否正常。

例如,近期表现抢眼的BI工具Tableau,可以设置每15分钟扫描一下ETL作业日志表,一旦发现有作业异常,就自动发送邮件通知作业负责人。

通过BI工具实现ETL作业的监控和预警,这种方式可以推广到整个数据闭环,其图形化的界面让监控变得简单明了。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《构建实时机器学习系统》一1.7 案例:Netflix在机器学习竞赛中学到的经验
本节书摘来自华章出版社《构建实时机器学习系统》一 书中的第1章,第1.7节,作者:彭河森 汪涵,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1505 0
开源机器学习平台 Alink 1.1.1 在易用性上有哪些优化?
本文将详解介绍 Alink 1.1.1 版本中的新增功能及修复内容,并分享 Alink 1.1.1 在易用性方面的小技巧。
407 0
轻量化AI服务再添两将!阿里云机器学习PAI DSW 2.0 & Alink商业版重磅发布
近日,阿里云推出机器学习PAI两大新品DSW 2.0 & Alink商业版,机器学习PAI产品家族,覆盖了机器学习的数据处理、建模、训练、模型优化、在线预测的全产品线,用户既可以搭建完整的个性化推荐系统,让CTR提高10%+; 也可以使用Blade进行深度学习模型进行优化,节省GPU消耗50%。
597 0
GPS定位系统怎么定位监控,如何快速二次开发行业应用
GPS定位系统是一套可以监控管理智能定位终端的综合管理系统;一般都具有实时定位,轨迹回放,电子围栏,统计报表,报警提醒,指令控制等功能!那么这套系统是如何实现实时定位监控的呢,首先需要一个智能GPS北斗定位终端,终端将实时接收卫星信号并计算出相应的 经纬度数据速度时间方向等数据,更高级的终端会带有...
1418 0
Django学习笔记----数据库操作实例
上上篇>Django学习笔记----环境搭建基于Windows 上一篇>Django学习笔记----快速入门 修改settings.py配置 在环境搭建篇, 我们已经安装了mysql-client包 安装好后, 在settings.
1198 0
大数据技术对于视频监控有什么帮助
大数据 ,IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
753 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载