Flink CDC1.15，kafka初始化是认证了会跟es初始化认证有冲突么？
Flink CDC1.15，客户端上配置了kerberos认证信息，提交到yarn运行。source连kafka加了kerberos相关认证信息配置property，source下个算子是keyedprocess，在这里每条数据都加了定时，因为数据要去关联es里数据做查询补充相应字段（es数据来的慢一丢丢），定时触发后去关联es查询(es也是一个集群里的，也有开kerberos认证)，es客户端是在keyedprocess算子的open方法里初始化的，一直用的这个，没有关闭，也没有重新初始化。
运行满一天就会checkpoint超时。这块看下来是es认证过期了，但是es初始化客户端时有启动相应的tgt刷新线程，日志里也有打印刷新的日志，kafka初始化是认证了会跟es初始化认证有冲突么？
写回答
-
Flink CDC 1.15 可以使用 Kafka 的认证方式连接 Kafka 集群，也可以使用 Elasticsearch 的认证方式连接 Elasticsearch 集群。这两种方式不会有冲突。
如果 Kafka 集群和 Elasticsearch 集群使用不同的认证方式，则需要分别配置 Kafka 和 Elasticsearch 的认证信息。
如果 Kafka 集群和 Elasticsearch 集群使用相同的认证方式，则只需要配置 Kafka 的认证信息即可。当 Flink CDC 连接 Kafka 集群时，会自动使用 Kafka 的认证信息连接 Elasticsearch 集群。
2023-09-20 10:32:47赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
