Flink CDC 能监听实时的··有什么区别么·,,,都是2.4的?

问题1:Flink CDC 能监听实时的··有什么区别么·,,,都是2.4的? SqlServerSourceBuilder.SqlServerIncrementalSource sqlServerSource = new SqlServerSourceBuilder() .hostname("xxxx") .databaseList("xxxx") .tableList("dbo.flink_test") .username("sa") .password("xxx") .debeziumProperties(properties) .deserializer(new CustomerDeserialization()) .startupOptions(StartupOptions.initial()) .build();无法监听实时的 SourceFunction sourceFunction = SqlServerSource.builder() .hostname("xxx") .database("xxxxxxx") .tableList("dbo.flink_test") .username("sa") .password("xxx") .debeziumProperties(properties) .deserializer(new CustomerDeserialization()) .build(); 问题2:但是为什么使用 SqlServerIncrementalSource 就是无法监听获取更改记录, 用sourceFunction就可以。

展开
收起
真的很搞笑 2023-07-02 17:47:37 224 分享 版权
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink CDC 可以实时监听数据源的变化,并将变化同步到 Flink 中,使得 Flink 可以实现实时的数据处理和分析。与传统的批处理不同,Flink CDC 可以处理实时数据流,从而更加精确和及时地响应数据变化。
    对于您提到的 SqlServerSourceBuilder.SqlServerIncrementalSource 类,它是 Flink CDC 中用于构建 SQL Server 增量源的类。通过指定 hostname、databaseList、tableList 等参数,可以监听指定的 SQL Server 数据库和表,并将增量数据同步到 Flink 中。与传统的批处理不同,SqlServerIncrementalSource 可以实现实时的数据同步和处理,从而更加精确和及时地响应数据变化。
    需要注意的是,Flink CDC 需要依赖于数据源的增量日志或者 binlog,才能实现实时数据同步。如果

    2023-07-30 09:36:55
    赞同 展开评论
  • 回答1:checkpoint开了么,oracle 连接过多问题 修复PR,有需要的小伙伴可以自行打包验证下https://github.com/ververica/flink-cdc-connectors/pull/2254,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 17:54:23
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

还有其他疑问?
咨询AI助理