Flink CDC有例子吗,传入的是字段数值?我只想sink 到部分表,表结构差不多的,我用RichSinkFunction 自定义sink到数据库表,但感觉还是用官方的jdbcsink性能好
Flink CDC是一个功能强大的工具,可以从MySQL等数据库中捕获变更数据,然后对这些数据进行处理和同步。例如,你可以使用Flink的CDC从SQL Server获取指定表的增量数据,或者将MySQL中的全增量数据实时采集、预计算、并同步到Elasticsearch中。
对于你的需求,即只向部分结构相似的表中sink数据,你可以自定义一个RichSinkFunction
来实现。但是,如果感觉性能不佳,可以考虑使用Flink官方提供的JDBCSink
。Flink SQL CDC + JDBC Connector
本质上是一个Source和Sink并行度为1的Flink Stream Application,Source和Sink之间没有Operator,可以保证一致性。同时,采用YARN的per-job模式启动多个作业,能有更好的隔离性。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。