问题1:Flink CDC 能监听实时的··有什么区别么·,,,都是2.4的? SqlServerSourceBuilder.SqlServerIncrementalSource sqlServerSource = new SqlServerSourceBuilder() .hostname("xxxx") .databaseList("xxxx") .tableList("dbo.flink_test") .username("sa") .password("xxx") .debeziumProperties(properties) .deserializer(new CustomerDeserialization()) .startupOptions(StartupOptions.initial()) .build();无法监听实时的 SourceFunction sourceFunction = SqlServerSource.builder() .hostname("xxx") .database("xxxxxxx") .tableList("dbo.flink_test") .username("sa") .password("xxx") .debeziumProperties(properties) .deserializer(new CustomerDeserialization()) .build(); 问题2:但是为什么使用 SqlServerIncrementalSource 就是无法监听获取更改记录, 用sourceFunction就可以。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Flink CDC 可以实时监听数据源的变化,并将变化同步到 Flink 中,使得 Flink 可以实现实时的数据处理和分析。与传统的批处理不同,Flink CDC 可以处理实时数据流,从而更加精确和及时地响应数据变化。
对于您提到的 SqlServerSourceBuilder.SqlServerIncrementalSource 类,它是 Flink CDC 中用于构建 SQL Server 增量源的类。通过指定 hostname、databaseList、tableList 等参数,可以监听指定的 SQL Server 数据库和表,并将增量数据同步到 Flink 中。与传统的批处理不同,SqlServerIncrementalSource 可以实现实时的数据同步和处理,从而更加精确和及时地响应数据变化。
需要注意的是,Flink CDC 需要依赖于数据源的增量日志或者 binlog,才能实现实时数据同步。如果
回答1:checkpoint开了么,oracle 连接过多问题 修复PR,有需要的小伙伴可以自行打包验证下https://github.com/ververica/flink-cdc-connectors/pull/2254,此回答整理自钉群“Flink CDC 社区”
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。