请教下大佬为什么不能用flinksql 开发数据同步呢?另外pg的整库同步我在网上找了但是没找到,大

请教下大佬为什么不能用flinksql 开发数据同步呢?另外pg的整库同步我在网上找了但是没找到,大佬受累发我一个链接好嘛,大佬,我刚看了flinkcdc官网,您的意思是DataStream Source方式采集可以采集多表用一个slot,我在tableList这里添加需要采集的表,实现思路是对的吧?另外整库同步大佬发我的链接是Dinky,我这边目前打算用streamPark,我去找下是否有类似功能,大佬只言片语让我瞬间感觉柳暗花明了image.png 我理解是flinksql时按表过滤,而且是一张表,可以实现多张表过滤吗?

展开
收起
真的很搞笑 2023-05-01 16:12:15 170 分享 版权
1 条回答
写回答
取消 提交回答
  • 采集阶段别用lfink sql,因为一张表就需要用一个slot。你们那边dba要求那么严格,肯定过不去。 采集进来以后,可以使用flink sql计算,转换。http://www.dlink.top/docs/0.7/data_integration_guide/cdcsource_statements有这个能力就自己开发一个整库同步,我希望也能分享我一份 一个slot本来就是会采集到整个库的数据,只是dbz做了过滤,flinksql 要创建多个source吧,可以source用api,sink用sql志明,中间分流,按表分流,最好纯api,flink sql有时改了state会对不上,此回答整理自钉群“Flink CDC 社区”

    2023-05-02 08:00:09
    赞同 展开评论

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

还有其他疑问?
咨询AI助理