开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 出现null值的情况,请问下null值怎么过滤掉,在进入kafka前?

Flink CDC 用where条件过滤 写入 upsert-kafka 后,出现null值的情况,请问下null值怎么过滤掉,在进入kafka前?

展开
收起
真的很搞笑 2023-12-19 08:07:20 123 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC中,可以使用where条件来过滤数据。如果出现了null值,可以在where条件中添加相应的过滤规则,例如:

    SELECT * FROM my_table WHERE column1 IS NOT NULL AND column2 > 0;
    

    这样就能够过滤掉column1为null或者column2小于等于0的数据。

    另外,如果你使用的是upsert-kafka模式,可以在写入Kafka之前对数据进行过滤。具体来说,可以在将数据写入Kafka之前,先使用一个filter函数来过滤掉包含null值的数据。例如:

    DataStream<MyRecord> filteredStream = sourceStream.filter(record -> record.getColumn1() != null && record.getColumn2() > 0);
    

    这样就可以将包含null值的数据过滤掉,只将符合要求的数据写入Kafka。

    2023-12-19 20:33:27
    赞同 展开评论 打赏
  • 别在抽取同步过程中 整逻辑进去,这种交给计算层 处理好了。 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-19 16:04:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载