开发者社区> 问答> 正文

如何监控kafka延迟?

hi all

以kafka为source的flink任务,各位都是如何监控kafka的延迟情况??

监控这个延迟的目的:1.大盘展示,2.延迟后报警

小问题:

1.发现flink原生的相关metric指标很多,研究后都不是太准确,大家都用哪个指标?

2.怎么获取groupId呢,多个group消费的话,如何区分呀?

3.能通过kafka集群侧的元数据,和当前offset做减法,计算lag吗?

4.有比较优雅的实现方式吗?

非常感谢 期待解答 感谢感谢*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-02 14:49:22 795 0
1 条回答
写回答
取消 提交回答
  • 采用 kafka 集群元数据 的 offset 信息和当前 group offset 相减得到的 lag 是比较准确的。

    group id 需要自己维护。

    *来自志愿者整理的FLINK邮件归档

    2021-12-02 15:02:39
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载