开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC临时新增一个batch任务对于线上的变更来说,还是有一些额外的风险。流程也很长?

Flink CDC临时新增一个batch任务对于线上的变更来说,还是有一些额外的风险。变更管理严格的场景下,流程也很长?

展开
收起
cuicuicuic 2023-12-10 20:20:46 23 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC是一个强大的变更数据捕获工具,能够将源数据库的增量变动记录同步到一个或多个数据目的。在同步过程中,还可以对数据进行一定的处理,例如分组、多表的关联等。然而,对于新增一个batch任务,确实可能带来一些额外的风险。特别是在变更管理严格的场景下,流程可能会相对复杂和漫长。

    首先,新任务的引入可能需要对现有的数据处理逻辑进行较大的调整。这可能涉及到重新定义数据处理流程,修改相关的数据转换逻辑,甚至可能需要对数据的存储结构进行改动。

    其次,新任务的测试和验证过程也相对耗时。需要在不同的环境和条件下对新任务进行全面的测试,以确保其能够正确稳定的运行。

    2023-12-11 17:04:01
    赞同 展开评论 打赏
  • 3.0会自动发现表,这个问题就不是问题了 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-11 11:24:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载