Flink CDC与上传作业jar包到flink执行，两者在执行任务上会有区别吗？
Flink CDC代码中使用ClusterClient.submitJob，与上传作业jar包到flink执行，两者在执行任务上会有区别吗？
一直在用这个connector-kafka版本
写回答
-
在Flink CDC代码中使用
ClusterClient.submitJob与上传作业jar包到Flink执行，两者在执行任务上有一些区别：环境配置：使用
ClusterClient.submitJob时，Flink集群的环境配置（如Flink版本、JVM参数等）需要在提交作业之前就设置好。而上传作业jar包到Flink执行时，Flink集群的环境配置可以在提交作业时通过API进行设置。资源管理：使用
ClusterClient.submitJob时，Flink集群的资源管理（如内存、CPU等）需要在提交作业之前就设置好。而上传作业jar包到Flink执行时，Flink集群的资源管理可以在提交作业时通过API进行设置。依赖管理：使用
ClusterClient.submitJob时，需要将作业所需的所有依赖（包括Flink相关依赖和自定义依赖）打包成一个jar文件，然后上传到Flink集群。而上传作业jar包到Flink执行时，Flink集群会自动下载并加载所需的依赖。作业生命周期管理：使用
ClusterClient.submitJob时，可以通过ClusterClient对作业的生命周期进行管理，如查询作业状态、取消作业等。而上传作业jar包到Flink执行时，可以通过Flink API对作业的生命周期进行管理。容错性：使用
ClusterClient.submitJob时，如果Flink集群出现故障，可以通过ClusterClient对作业进行重启或恢复。而上传作业jar包到Flink执行时，如果Flink集群出现故障，可能需要手动干预来恢复作业。
2023-12-02 16:16:03赞同 展开评论 打赏 -
另外你是sql的话，你的kafka的包不对，用非工，这个包可以发我一份不，flink-sql-connect or-kafka-1.17.1.jar
https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-kafka/1.17.1/flink-sql-connector-kafka-1.17.1.jar，此回答整理自钉群“Flink CDC 社区”2023-12-01 11:25:04赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关文章
相关电子书
更多
