开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这种情况能不能设置成INSERT_ONLY 模式啊?我没有找到如何设置?

Flink CDC这种情况能不能设置成INSERT_ONLY 模式啊?我没有找到如何设置?

展开
收起
真的很搞笑 2023-11-30 15:38:59 137 0
3 条回答
写回答
取消 提交回答
  • 仅支持 INSERT { INTO | OVERWRITE」两种模式哈,flink建表的时候,ddl不带id就行了呀。就解决了id必须自增的问题,此回答整理自钉群“Flink CDC 社区”

    2023-11-30 20:44:39
    赞同 展开评论 打赏
  • 是的,Flink CDC是可以设置成INSERT_ONLY模式的。在Flink CDC的配置中,有一个选项叫做"sync.mode",你可以通过设置这个选项来改变数据同步的模式。INSERT_ONLY模式就是其中的一种。

    具体的设置方式是在你的Flink任务配置文件中,添加以下配置:

    sync.mode=INSERT_ONLY
    

    这样,Flink CDC就会以INSERT_ONLY模式运行,只会生成INSERT语句,不会生成UPDATE或DELETE语句。

    2023-11-30 17:38:35
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC(Change Data Capture)是一种用于捕获数据库变更的技术,它通常用于将数据从源数据库传输到目标系统。关于设置CDC模式为"INSERT_ONLY"的问题,需要明确以下几点:

    1. CDC模式:Flink CDC本身并没有提供直接设置为"INSERT_ONLY"的选项。它主要用于捕获源数据库的INSERT、UPDATE和DELETE操作,并将这些变更应用到目标系统中。

    2. 过滤器:虽然Flink CDC没有内置的"INSERT_ONLY"模式,但您可以在Flink任务中使用自定义的过滤器来选择特定类型的操作进行处理。通过编写自定义函数或操作符,您可以过滤掉不需要的更新和删除操作,只保留INSERT操作。

    3. 实时表 API:如果您正在使用Flink的实时表 API(Table API),您可以使用filter()方法来过滤出INSERT操作。例如,使用filter($"op" === "i")可以仅保留INSERT操作。

    2023-11-30 16:00:08
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载