flink1.15.4以上版本获取的不一致的问题?

flink1.15.4以上版本,wartermark在flink webui显示和通过ctx.currentWatermark()获取的不一致的问题
2.主流关联广播流,广播流的wartermark设置Long.MAX_VALUE, 再进行keyby后通过KeyedBroadcastProcessFunction算子出来,在主流没数据的时候算子中wartermar从最小值直接变成最大值,但在flink1.13.2版本主流没数据时waterMark一直是最小值?

展开
收起
真的很搞笑 2023-09-28 12:12:34 163 分享 版权
1 条回答
写回答
取消 提交回答
  • Flink 1.15.4 以上版本对 TaskManager 的 CPU 资源管理进行了改进,使用了新的算法来分配 CPU 资源,从而提高了集群整体的吞吐量。但是,由于新的算法会更频繁地重新分配 CPU 资源,因此可能会导致 TaskManager 上的 CPU 资源不一致。

    如果出现 TaskManager 上的 CPU 资源不一致的问题,可以尝试以下方法解决:

    检查是否设置了 taskmanager.memory.fraction 和 taskmanager.memory.offheap.fraction 参数。默认情况下,这些参数的值都是 1.0,表示 TaskManager 的所有内存都用于运行任务。如果设置的值小于 1.0,那么 TaskManager 的剩余内存会被用于其他用途,从而导致 TaskManager 上的 CPU 资源不一致。
    检查是否有过多的任务运行在 TaskManager 上。如果 TaskManager 上运行的任务过多,那么可能会导致 TaskManager 上的 CPU 资源不一致。
    检查是否有过多的任务在等待执行。如果 TaskManager 上有过多的任务在等待执行,那么可能会导致 TaskManager 上的 CPU 资源不一致。
    检查是否有过多的任务在被取消。如果 TaskManager 上有过多的任务被取消,那么可能会导致 TaskManager 上的 CPU 资源不一致。
    如果通过以上方法都无法解决问题,可以尝试联系 Flink 的社区支持寻求帮助。

    2023-10-12 11:28:15
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理