开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问是不是可以通过设置 skipped.operations 选项,而忽略 delete event

请问是不是可以通过设置 skipped.operations 选项,而忽略 delete event 啊?这样可以避免 join 的时候找不到对应项

展开
收起
游客3oewgrzrf6o5c 2022-06-28 15:38:04 451 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,在阿里云中,可以通过设置Flink的skipped.operations选项,来忽略掉某些特定的事件类型,例如DELETE事件。使用该选项可以避免在Join操作中找不到对应项的问题,从而提高Join操作的性能和效率。

    具体来说,可以通过以下步骤,在阿里云中设置skipped.operations选项:

    1. 打开Flink应用程序的配置文件,例如flink-conf.yaml。

    2. 在配置文件中添加如下配置信息:

    table.exec.source.skip-changelog=true
    table.exec.sink.skip-upsert=false
    table.exec.sink.skip-delete=true
    

    其中,table.exec.source.skip-changelog选项表示是否忽略变更日志(ChangeLog)事件,table.exec.sink.skip-upsert选项表示是否忽略UPSERT事件,table.exec.sink.skip-delete选项表示是否忽略DELETE事件。

    1. 保存配置文件,并重新启动Flink应用程序。

    需要注意的是,设置skipped.operations选项会影响整个Flink应用程序的数据处理逻辑,因此需要根据具体的业务需求和数据流特性进行谨慎设置。

    2023-07-23 11:31:46
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Borgaonkar-New-Adventures-In-Spying-3G-And-4G-Users-Locate-Track-And-Monitor 立即下载
Spark SQL: Past, Present and Future 立即下载
Spark SQL:Past Present &Future 立即下载