Flink CDC cdc有办法实现,增加配置需要同步的表 不手动重启job吗?

Flink CDC cdc有办法实现,增加配置需要同步的表 不手动重启job吗?

展开
收起
雪哥哥 2022-12-04 22:32:14 425 分享 版权
阿里云 AI 助理回答

在使用Flink CDC时,确实有办法在增加需要同步的表之后,避免手动重启Job的操作。这主要依赖于所使用的Flink版本以及CDAS(CREATE DATABASE AS)或CTAS(CREATE TABLE AS)功能。具体实现方式如下:

  1. 前提条件与限制

    • 确保您使用的Flink版本支持相应的功能。例如,VVR 8.0.6及以上版本支持CDAS作业从快照恢复以捕获新增表。
    • 对于权限管理,确保登录Flink全托管账号具有读写上下游资源的权限。
  2. 启用新增表读取功能: 在SQL作业开发阶段,需要先开启允许读取新增表的功能:

    SET 'table.cdas.scan.newly-added-table.enabled' = 'true';
    
  3. 作业暂停与快照创建: 当需要添加新的表进行同步时:

    • 停止当前正在运行的CDAS或CTAS作业,并在停止前勾选“停止前创建一次快照”选项。
  4. 从快照恢复作业

    • 在作业运维界面,找到对应的作业快照。
    • 从该快照恢复作业,这样作业会基于之前的运行状态并识别到新增的表进行数据同步。
  5. 注意事项

    • 新增表功能仅适用于初始启动模式为initial的作业。
    • 如果是CTAS语句且涉及到Source复用优化,新增的CTAS语句的源表配置必须与原有的一致。
    • 在整个过程中,除了新增表的操作外,作业的其他参数和配置不应有变更。

通过上述步骤,您可以实现在不完全手动重启Job的情况下,动态增加需要同步的表。这种方式利用了Flink的快照机制来平滑地集成新表的数据同步任务。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理