spark streaming的监控报警-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

spark streaming的监控报警

请问spark streaming对接kafka,出现三个批次的延迟,这个在程序中可以判断吗?应该调用哪个借口

展开
收起
云hbase+spark 2018-11-15 09:52:07 4016 0
1 条回答
写回答
取消 提交回答
  • 云hbase+spark

    关于监控报警,开源的spark做的还是不够好的
    1、struct Streaming可以直接在driver端通过接口,获取监控信息
    eg:query.recentProgress // an array of the most recent progress updates for this query
    2、spark streaming(DStream)
    除了UI,另外的方法配置StreamingSource把监控信息输出到ganglia、文件、或者开发下输出到你自己的某个监控系统。
    3、监控对接到ganglia可以参考 https://www.iteblog.com/archives/1347.html
    4、使用 Prometheus 和 Grafana 监控 Spark 应用 https://blog.csdn.net/lsshlsw/article/details/82670508
    5、目前阿里云HBase支持的Spark服务是把streaming的核心指标对接到云监控,然后用户可以对指标订阅报警,比如latency超过了40ms,就会发钉钉、短信、电话等
    https://help.aliyun.com/document_detail/95995.html?spm=a2c4g.11186623.6.605.489b2fc04QZj4E

    2019-07-17 23:14:18
    赞同 1 展开评论 打赏
问答排行榜
最热
最新
相关电子书
更多
云HBaseSQL及分析 ——Phoenix&Spark
立即下载
Spark Streaming At Bing Scale
立即下载
From Spark Streaming to Struct
立即下载