开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 2.3.0? update_time = 昨天时间,这个任务资源是一直暂用的吗?

Flink CDC 2.3.0?
update_time = 昨天时间,这个任务资源是一直暂用的吗?还是需要通过调度启动?

展开
收起
真的很搞笑 2023-12-04 08:09:27 42 0
4 条回答
写回答
取消 提交回答
  • 等3.0 但是是实时在跑,你可以用mode=snaphot+调度工具 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-05 08:29:07
    赞同 展开评论 打赏
  • 在 Flink CDC 2.3.0 版本中,当使用 update_time 参数指定任务的起始时间为昨天时,任务资源将会一直占用,直到任务完成或手动停止。

    在 Flink 中,CDC任务是以长期运行的方式执行的。一旦启动,它将持续监听和抽取源数据库的增量更新,并按照指定的时间范围进行读取。因此,在您指定了昨天的时间作为起始时间后,任务将会一直运行并处理从昨天开始的所有增量数据。

    需要注意的是,如果没有新的增量数据到达,任务可能会处于空闲状态,但仍然会占用资源。这是因为任务需要保持与源数据库的连接,并随时准备接收新的增量数据。

    如果希望根据特定的调度策略来启动和停止CDC任务,您可以考虑使用调度工具(例如 cron、Airflow 等)来设置定时触发器,以便在特定的时间点启动和停止任务。这样可以更好地控制任务的资源占用和运行时间。

    2023-12-04 20:46:55
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC 2.3.0中,任务资源的使用情况取决于你的具体设置和任务调度策略。如果你的任务配置为昨天时间点获取数据,并且没有指定任务的运行时间,那么任务会一直运行,对应的资源也会一直被占用。如果你的任务在空闲状态,资源是否会释放则取决于你的具体设置和集群的管理策略。

    对于Flink CDC任务如何启动,有两种选择:全新启动和从最新状态恢复。全新启动意味着MySQL CDC源表会从配置的位置重新消费;而从最新状态恢复则是让MySQL CDC源表从作业停止时的位置开始消费。

    2023-12-04 14:02:28
    赞同 展开评论 打赏
  • Flink CDC 2.3.0 是一个用于采集数据库变更数据的工具,其资源占用情况取决于任务的运行状态。在前期,当Flink CDC执行全量表读取时,会占用较多的资源,这是为了获取完整的数据视图。但随着任务进入日志读取阶段,资源需求量会逐渐降低。关于任务的启动方式,Flink CDC支持根据实际需求在线调整资源的使用情况,这意味着您可以根据任务的实际运行情况来决定是否需要持续占用资源,或者通过调度工具来控制任务的启动和停止。

    2023-12-04 11:45:43
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载