Flink CDC中做全量数据表同步时候,滑动窗口设置时长设置多大呢?5s可以么?4000w数据?

Flink CDC中做全量数据表同步时候,滑动窗口设置时长设置多大呢?5s可以么?4000w数据?

展开
收起
真的很搞笑 2023-06-29 08:17:20 72 发布于黑龙江 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • Flink CDC 做全量数据表同步的时候,滑动窗口设置时长最好根据数据量来确定。如果数据量比较大,比如 4000w 数据,那么滑动窗口的设置时长可以设置长一点,比如 5s。这样可以减少窗口内的数据量,提高数据处理的效率。

    另外,还需要注意滑动窗口的设置间隔,如果滑动窗口的设置间隔太大,可能会导致数据延迟。所以,滑动窗口的设置时长和间隔需要根据实际情况进行调整。

    2023-09-28 11:18:19 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理