开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC datastream可以用正则表达式去筛选监视的表么?

Flink CDC datastream可以用正则表达式去筛选监视的表么?

展开
收起
真的很搞笑 2023-08-20 13:07:29 72 0
1 条回答
写回答
取消 提交回答
  • Flink CDC DataStream 可以使用正则表达式去筛选监视的表。

    以下是一个简单的示例:

    import org.apache.flink.api.common.functions.FilterFunction;
    import org.apache.flink.connector.jdbc.source.JdbcSource;
    import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

    public class FlinkCDCDatisFilter {

    public static void main(String[] args) throws Exception {
        // 创建 Flink 环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
        // 创建 JDBC 源
        JdbcSource<String> source = new JdbcSource<>(
                "jdbc:mysql://localhost:3306/test",
                "root",
                "password",
                "SELECT * FROM user",
                String.class);
    
        // 使用正则表达式筛选监视的表
        source.setFilter(new FilterFunction<String>() {
            @Override
            public boolean filter(String value) {
                return value.matches("^user_.*");
            }
        });
    
        // 将数据打印到控制台
        source.print();
    
        // 启动 Flink 程序
        env.execute("Flink CDC DataStream Filter");
    }
    

    }
    在这个示例中,我们使用了正则表达式 "^user_.*" 来筛选监视的表。这意味着我们只会从 user_1, user_2, user_3 等表中读取数据。其他表的数据我们不会读到。

    使用正则表达式筛选表非常方便,可以让我们只读取我们需要的数据。这在处理大量数据时非常有用。

    2023-09-20 11:28:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载