请问一下Flink CDC,
环境:
(1)业务工程里面用的是,用的是mysql2.4.2的胖包,sqlserver用的是2.3.0的胖包。
(2)flink里面的lib,放的是mysql2.4.2的胖包,sqlserver放的是2.4.2的胖包。
然后mysql和sqlserver的都能正常提交任务。
此时把mongodb2.4.2的胖包放进flink的lib下面,mysql和sqlserver的任务都提交失败了,请问一下,是什么原因?
这个问题可能是由于版本不匹配导致的。在你的环境中,你可能使用了不同版本的MySQL和SQL Server驱动程序。Flink在使用这些驱动程序时,需要保证所有驱动程序的版本一致。
在你的描述中,你提到在将MongoDB驱动程序添加到Flink的lib目录后,MySQL和SQL Server的任务提交失败。这可能是因为MongoDB驱动程序与MySQL和SQL Server驱动程序的版本不匹配。
建议你检查一下所有的驱动程序版本,确保它们都是一致的。如果可能,尽量使用相同版本的驱动程序。如果无法做到这一点,你可以尝试在Flink的lib目录中只保留所需的驱动程序,避免引入不必要的依赖。
从你的描述中,你似乎在Flink CDC环境中遇到了问题。当你将MongoDB 2.4.2的胖包放入Flink的lib目录后,MySQL和SQL Server的任务都开始提交失败。这可能是由于以下原因:
版本冲突:
类加载器问题:
配置错误:
资源限制:
冲突的驱动程序或连接器:
为了确定具体的原因,你可以尝试以下步骤:
清理并重新组织库文件:
mvn dependency:tree
命令检查是否存在版本冲突。分步排查:
查看日志和错误信息:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。