开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文
1
0
分享

Flink CDC withIdleness 如果一直没有数据进入会触发吗?

Flink CDC withIdleness 如果一直没有数据进入会触发吗?但是 某个分区是要数据的 只是没有达到水印触发的阈值

展开
收起
真的很搞笑 2023-12-19 08:07:22 115 0 发布于黑龙江
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
实时计算 Flink 版
5000CU*H 3个月
额度3个月内有效
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC中,如果有窗口中没有数据,即使有数据的窗口的watermark到达了触发边界,由于barren没有对齐,这个窗口也不会被触发进行计算。这样的空窗口被称为空闲窗口。

    对于你提到的某个分区有数据但是没有达到水印触发的阈值的情况,Flink CDC 的 withIdleness 参数可以解决。该参数允许设置一个空闲时间,当窗口在这个时间内没有接收到任何新数据时,就会触发计算。因此,即使你的某个分区的数据没有达到触发阈值,只要设置了合适的 withIdleness 时间,也能保证数据的同步处理。

    2023-12-19 20:23:28 发布于河南 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载
    AI助理

    阿里云 AI 助理已上线!

    快来体验一下吧。