flink on yarn模式 hadoop有做kerberos 吗?

如题

展开
收起
游客3oewgrzrf6o5c 2022-06-27 17:19:12 641 分享 版权
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,是的,阿里云的Flink on YARN模式可以与Hadoop Kerberos集成。在Flink on YARN模式下使用Kerberos,需要进行以下配置:

    1. 启用Kerberos认证:在Flink on YARN模式下,需要在flink-conf.yaml文件中启用Kerberos认证。您可以通过设置security.kerberos.login.use-ticket-cache为false,启用Kerberos认证。示例配置如下:

      security.kerberos.login.use-ticket-cache: false
      
    2. 配置Kerberos相关参数:在Flink on YARN模式下,需要配置Kerberos相关参数,包括Kerberos认证的principal、keytab文件的路径等。您可以在flink-conf.yaml文件中设置以下参数:

      security.kerberos.login.keytab: /path/to/user.keytab
      security.kerberos.login.principal: user@EXAMPLE.COM
      

      您需要将上述参数进行替换,以适应您的实际情况。

    3. 配置Hadoop相关参数:在Flink on YARN模式下,需要配置Hadoop相关参数,以使Flink在与YARN交互时使用Kerberos认证。您可以在flink-conf.yaml文件中设置以下参数:

      security.kerberos.security.enabled: true
      security.kerberos.service.name: yarn
      security.kerberos.login.contexts: YARN_RM,YARN_CLIENT
      fs.hdfs.impl.disable.cache: true
      

      您需要将上述参数进行替换,以适应您的实际情况。

    需要注意的是,启用Kerberos认证后,需要在Flink on YARN模式下使用Kerberos认证的所有计算节点和YARN节点上都需要配置Kerberos相关参数。否则,可能会导致Flink on YARN模式启动失败或者无法与YARN进行交互。

    2023-07-23 13:01:38
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理