大佬们,flink cdc source的 mysql表增加字段,sink能自动增加吗

大佬们,flink cdc source的 mysql表增加字段,sink能自动增加吗

展开
收起
圆葱猪肉包 2023-03-27 14:10:15 572 分享 版权
2 条回答
写回答
取消 提交回答
  • 坚持这件事孤独又漫长。
    • Flink CDC(Change Data Capture)source 可以自动感知到 MySQL 表的字段变化并进行相应的反应,但是 CDC source 并不会自动在 CDC sink 中为增加的字段添加 Outputs。

    • 如果 MySQL 表增加了字段,那么需要在 CDC sink 中相应地更新输出的 schema,以便能够正确处理新的记录。在 Flink 1.13 版本中,使用表格补丁(Table Patch)来动态更新表格的输出元数据已经可用,这个功能可以单独地为每个存储器/目标/输出重新定义输出模式,包括自动生成的字段、现有的字段以及新添加的字段。

    2023-03-27 14:48:27
    赞同 展开评论
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    AUTO_INCREMENT字段可以是任何整数类型,默认情况下,该字段的值是从1开始自增的。

    2023-03-27 14:38:29
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理