spark streaming的监控报警
请问spark streaming对接kafka，出现三个批次的延迟，这个在程序中可以判断吗？应该调用哪个借口
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
关于监控报警，开源的spark做的还是不够好的
1、struct Streaming可以直接在driver端通过接口，获取监控信息
eg：query.recentProgress // an array of the most recent progress updates for this query
2、spark streaming(DStream)
除了UI，另外的方法配置StreamingSource把监控信息输出到ganglia、文件、或者开发下输出到你自己的某个监控系统。
3、监控对接到ganglia可以参考 https://www.iteblog.com/archives/1347.html
4、使用 Prometheus 和 Grafana 监控 Spark 应用 https://blog.csdn.net/lsshlsw/article/details/82670508
5、目前阿里云HBase支持的Spark服务是把streaming的核心指标对接到云监控，然后用户可以对指标订阅报警，比如latency超过了40ms，就会发钉钉、短信、电话等
https://help.aliyun.com/document_detail/95995.html?spm=a2c4g.11186623.6.605.489b2fc04QZj4E2019-07-17 23:14:18赞同 1 展开评论