开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有人知道,这个在任务提交到flink集群的时候怎么做么?

image.png

展开
收起
雪哥哥 2022-11-13 16:01:39 1028 0
3 条回答
写回答
取消 提交回答
  • 资深技术专家,全网粉丝10W+。主攻技术开发,擅长分享、写文、测评。

    Flink任务、Spark任务提交到集群,通常需要将可执行Jar上传到集群,手动执行任务提交指令,如果有配套的大数据平台则需要上传Jar,由调度系统进行任务提交。对开发者来说,本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化,任务在本地调试通过后,执行在分布式环境下也可能会出错。而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。

    2022-11-30 07:47:55
    赞同 展开评论 打赏
  • GitHub https://github.com/co63oc/cloud

    https://nightlies.apache.org/flink/flink-docs-master/zh/docs/deployment/security/security-kerberos/ Kerberos 身份认证设置和配置

    2022-11-24 17:18:04
    赞同 展开评论 打赏
  • 需要下面三个文件: 1、KerberosServer的配置文件krb5.conf,让程序知道我应该哪个kdc去登录认证; [libdefaults]udp_preference_limit=1 renew_lifetime=3650dforwardable=truedefault_realm=CHINAUNICOMticket_lifetime=3650ddns_lookup_realm=falsedns_lookup_kdc=falsedefault_ccache_name=/tmp/krb5cc_%{uid}  #default_tgs_enctypes = aes des3-cbc-sha1 rc4 des-cbc-md5  #default_tkt_enctypes = aes des3-cbc-sha1 rc4 des-cbc-md5[domain_realm]  .CHINAUNICOM = CHINAUNICOM[logging]default=FILE:/var/log/krb5kdc.logadmin_server=FILE:/var/log/kadmind.log  kdc = FILE:/var/log/krb5kdc.log[realms]CHINAUNICOM={    admin_server = master98.hadoop.ljskdc=master98.hadoop.ljs  }

    2、认证肯定需要指定认证方式这里需要一个jaas.conf文件,一般集群的conf目录下都有: KafkaClient{com.sun.security.auth.module.Krb5LoginModulerequireduseKeyTab=truekeyTab="D:\kafkaSSL\kafka.service.keytab"storeKey=trueuseTicketCache=falseprincipal="kafka/salver32.hadoop.unicom@CHINAUNICOM"serviceName=kafka;};

    3、就是用户的登录认证票据和认证文件。

    2022-11-24 07:30:28
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载