Flink CDC中作业加表的功能,现在能实现作业加表后,新加的表从全量运行同时以前的增量作业不停?

Flink CDC中作业加表的功能,现在能实现作业加表后,新加的表从全量运行,同时以前的增量作业不停吗?

展开
收起
十一0204 2023-07-26 08:04:12 217 分享 版权
2 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中,如果你添加了新的表并希望从全量开始同步,同时保持以前的增量作业不受影响,可以采取以下步骤:

    1. 启动新的全量作业:针对新增的表,启动一个新的 Flink 作业来执行全量同步。这个作业将会从头开始读取源表的数据,并将其同步到目标系统。

    2. 保持现有的增量作业运行:确保现有的增量作业继续运行,不受新表的影响。这些增量作业将继续读取源表的变化,并将其同步到目标系统。

    请注意以下事项:

    • 新增的全量作业和现有的增量作业是独立运行的,它们之间没有直接的依赖关系。
    • 全量作业和增量作业应该具有适当的配置和规划,以避免资源冲突或性能问题。
    • 在全量作业执行期间,可能需要考虑源系统的读写压力和网络带宽等因素。
    2023-07-31 23:20:22
    赞同 展开评论
  • 北京阿里云ACE会长

    在 Flink CDC 中,可以通过作业加表的功能来动态添加新的表进行 CDC 操作。如果您想要在加表后同时保证以前的增量作业不停止,可以采取以下措施:
    设置合适的 Checkpoint 间隔:在 Flink 中,Checkpoint 可以用于保证数据的一致性和容错性。如果您想要在增量作业运行时添加新的表,可以通过设置合适的 Checkpoint 间隔来确保数据的一致性。建议将 Checkpoint 间隔设置为比增量作业运行时间长的时间,这样就可以在增量作业运行时添加新的表,而不会影响已有的增量作业。
    使用 Savepoint 进行平滑升级:在添加新表后,您可以使用 Savepoint 进行平滑升级,以便在不停止增量作业的情况下,将新表加入到 CDC 作业中。具体步骤如下:
    停止增量作业并保存当前的状态为 Savepoint。
    修改 CDC 作业的配置文件,添加新表。
    使用保存的 Savepoint 重新启动增量作业。
    这样可以确保新的表可以被增量作业捕获,并且不会影响已有的增量作业。

    2023-07-29 16:44:50
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理