开发者社区> 问答> 正文

数据延迟会不会出现背压呀?

线上任务对背压进行了监控,背压一直正常,任务却出现了大量的数据延迟,数据延迟不会产生背压吗?*来自志愿者整理的FLINK邮件归档

展开
收起
又出bug了-- 2021-12-03 17:32:13 640 0
1 条回答
写回答
取消 提交回答
  • 数据延迟不一定会产生背压,举个例子,Flink 写 HBase 的作业,Source 并行度为 5,Sink 并行度 10,这种情况下游写入速度很快的,可能写入速度超过 Flink 消费 Kafka 的速度,这种情况就不会出现背压的问题。

    1、建议排查一下作业的并行度(可以设置和 Kafka 分区数一样);

    2、背压监控是通过 Flink Web UI 监控查看的,还是通过指标来判断的?

    3、对于数据延迟建议还是得对 Kafka 消费的 Topic 进行消费组的监控,加上 Lag 告警,这样可以及时知道数据延迟情况*来自志愿者整理的FLINK邮件归档

    2021-12-03 17:59:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载