开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC1.15,kafka初始化是认证了会跟es初始化认证有冲突么?

Flink CDC1.15,客户端上配置了kerberos认证信息,提交到yarn运行。source连kafka加了kerberos相关认证信息配置property,source下个算子是keyedprocess,在这里每条数据都加了定时,因为数据要去关联es里数据做查询补充相应字段(es数据来的慢一丢丢),定时触发后去关联es查询(es也是一个集群里的,也有开kerberos认证),es客户端是在keyedprocess算子的open方法里初始化的,一直用的这个,没有关闭,也没有重新初始化。
运行满一天就会checkpoint超时。这块看下来是es认证过期了,但是es初始化客户端时有启动相应的tgt刷新线程,日志里也有打印刷新的日志,kafka初始化是认证了会跟es初始化认证有冲突么?

展开
收起
cuicuicuic 2023-08-29 12:00:29 51 0
1 条回答
写回答
取消 提交回答
  • Flink CDC 1.15 可以使用 Kafka 的认证方式连接 Kafka 集群,也可以使用 Elasticsearch 的认证方式连接 Elasticsearch 集群。这两种方式不会有冲突。

    如果 Kafka 集群和 Elasticsearch 集群使用不同的认证方式,则需要分别配置 Kafka 和 Elasticsearch 的认证信息。

    如果 Kafka 集群和 Elasticsearch 集群使用相同的认证方式,则只需要配置 Kafka 的认证信息即可。当 Flink CDC 连接 Kafka 集群时,会自动使用 Kafka 的认证信息连接 Elasticsearch 集群。

    2023-09-20 10:32:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载