开发者社区 问答 正文

sink端处理数据很慢怎么办?

提交任务后,通过flink的webui界面看,中间的map算子处理速度很快,13万条数据已经处理。但是sink端只处理了几千条数据,这个时候map端的处理也停滞了,不知道什么原因。map并行度8,sink并行度1。之前也是这样的并行度,并没有出现类似的情况。*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-02 14:10:19 1001 分享 版权
1 条回答
写回答
取消 提交回答
  • 你好,如果之前一直运行正常,建议检查下 sink 节点慢的原因(io瓶颈、异常/节点gc 之类的),前面的 map

    节点应该是被反压导致停滞,可以通过backpressure tab确认下

    *来自志愿者整理的FLINK邮件归档

    2021-12-02 14:40:49
    赞同 展开评论
问答地址: