开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc去读sqlserver2016版本数据库的数据,可以使用什么版本的CDC连接器?

我用flink cdc去读sqlserver2016版本数据库的数据,可以使用什么版本的CDC连接器。flink是1.13.6版本的。我自己试过2.2版本的CDC,说最低支持的版本是sqlserver2017,不支持sqlserver2016。数据库的问题吗?2.2.0吗 还是2.1我之前测试的时候 用的。是2017版本的 没问题 但公司的sqlserver版本是2016 然后就一直读不到数据,行 我再试试 这次我直接在flink sql client的窗口去指定这个包。一开始是2.2.0 后来换了2.2.1 都是不行 ,不过你刚刚说官网明确指出2.2.1是支持sqlserver的 可能就是包没有被加载到 我用flink sql client的参数直接去指定这个包再试试。我用的flink on yarn 好像是不用重启机器的 因为任务没有在flink集群执行 是去yarn执行的。用的2.2.1的版本 就是没加载到最新的包 我在启动flink sql client的时候 -j去指定这个包 就读到了。2.2.1的会有锁表问题吗?1.16的能行不 因为我这个是用CDH搞的集群 再高版本的flink没办法兼容了好像 CDH6.3.2 里面的一些组件版本确实是很低,有集成教程吗大佬,找到最高版本的就只有1.16

展开
收起
小小鹿鹿鹿 2024-04-22 19:49:14 26 0
1 条回答
写回答
取消 提交回答
  • 首先你可以确认下你的新lib是不是已经生效了,其次如果仍然不行,可以尝试回调版本,不过官方给出的版本列表都是经过测试的,所以应该不会有问题的。用 sql client,我记得要上传包到 session lib ,然后要重启集群吧?很久没试过 sql 了,不太确定了。关于这个,你可以参考每个版本的 release note,我用 MySQL 和非RDB的比较多,MSSQL没用过,看下知道了。MySQL 之前是优化过全量阶段的锁表扫描的。其他的不确定。你用2.4.2就行,另外升级下flink集群吧,太低了,1.17也支持的。74f6525a347030e8690681d1fd34ce53.png5874ba0f184fa3426f2f747ab90351e1.png此回答来自钉群Flink CDC 社区。

    2024-04-23 23:02:29
    赞同 2 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载
云时代的数据库技术趋势 立即下载
超大型金融机构国产数据库全面迁移成功实践 立即下载