Flink有个需求是我们写了一个Function,暂且叫RuleFuntion,这个是过规则的,然后一条数据循环过几千个规则,现在我想记录每个规则的耗时,然后存入到MySQL中,现在的问题是,如果我直接在Function中使用单例连接MySQL,定期写入MySQL的话,我觉得不够优雅我想试试使用指标上报metrics.reporter,看着有如下的指标上报想调研一下我们没有普罗米修斯,所以想试试jmx或者 日志slf4j或者http调用我们的服务先试试jmx,然后代码如下这个运行起来,在哪看指标信息呢控制台里面没有看见?
对于流计算来说,你这应该以流的思想来处理这个问题,把你想记录的东西直接推消息队列,下游消费入库持久化就可以了,做存算分离,首先你想用暴露指标的方式来做,消耗的资源一点不少,而且不好协调,会消耗整个集群的性能和内存,如果把这个指标数据扔进kafka那么压力由kafka来承受,也就是所谓的,普罗的指标暴露是flink源码实现的,定期推送给pushgateway,再由pushgateway推送到普罗的时序数据库 ,此回答整理自钉群“【③群】Apache Flink China社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。