hi all
以kafka为source的flink任务,各位都是如何监控kafka的延迟情况??
监控这个延迟的目的:1.大盘展示,2.延迟后报警
小问题:
1.发现flink原生的相关metric指标很多,研究后都不是太准确,大家都用哪个指标?
2.怎么获取groupId呢,多个group消费的话,如何区分呀?
3.能通过kafka集群侧的元数据,和当前offset做减法,计算lag吗?
4.有比较优雅的实现方式吗?
非常感谢 期待解答 感谢感谢*来自志愿者整理的flink邮件归档
采用 kafka 集群元数据 的 offset 信息和当前 group offset 相减得到的 lag 是比较准确的。
group id 需要自己维护。
*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。