开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云E-MapReduce这种命令方式,如何配置kerberos相关的参数?

阿里云E-MapReduce使用命令hadoop jar /home/centos//jindo-distcp-tool-4.6.8.jar 。有如下报错?30205d159093c21f5a655386ed36e731.png
hadoop jar /home/centos//jindo-distcp-tool-4.6.8.jar 这种命令方式,如何配置kerberos相关的参数。

展开
收起
cuicuicuic 2023-11-30 13:00:22 62 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在阿里云E-MapReduce中使用Jindo DistCp或其他Hadoop工具时,如果集群启用了Kerberos安全认证,你需要提供相关的Kerberos凭证来完成身份验证。这通常涉及到以下参数的设置:

    1. hadoop.security.authentication:设置为kerberos以启用Kerberos认证。
    2. java.security.krb5.conf:指定Kerberos配置文件(krb5.conf)的位置。
    3. javax.security.auth.useSubjectCredsOnly:设置为false允许客户端使用用户主体和凭据。

    示例命令可能如下所示:

    hadoop jar jindo-distcp-${version}.jar \
    -D hadoop.security.authentication=kerberos \
    -D java.security.krb5.conf=/etc/krb5.conf \
    -D javax.security.auth.useSubjectCredsOnly=false \
    -D fs.defaultFS=hdfs://emr-header-1:9000 \
    -D mapreduce.job.hdfs-servers=emr-header-1:9000 \
    -D mapreduce.job.ugi=user,group \
    src dst
    

    请注意,这里仅是一个基本示例,你可能需要根据你的实际环境进行调整。例如,如果你正在运行HA集群,那么可能还需要额外设置与高可用性相关的属性,如dfs.nameservicesdfs.ha.namenodes.nameserviceId等。

    另外,为了防止在命令行中明文传递敏感信息,你可以考虑使用其他方法来管理这些凭证,比如通过环境变量或Kerberos keytab文件。使用keytab文件时,可以添加以下参数:

    -D hadoop.security.keytab.file=${keytab_file} -D hadoop.security.principal=${principal}
    

    其中${keytab_file}是你的keytab文件路径,${principal}是与该keytab关联的Kerberos主体名。

    2023-11-30 13:28:50
    赞同 展开评论 打赏
  • CSDN全栈领域优质创作者,万粉博主;InfoQ签约博主;华为云享专家;华为Iot专家;亚马逊人工智能自动驾驶(大众组)吉尼斯世界纪录获得者

    在阿里云E-MapReduce中配置Kerberos相关的参数,需要通过以下步骤进行:

    1. 首先,您需要在Kerberos服务器上为E-MapReduce集群中的所有节点创建principal和keytab文件。这些文件包含了访问Kerberos服务所需的所有信息。

    2. 接下来,将这些principal和keytab文件分发到集群中的所有节点上。这一步通常通过scp命令完成。

    3. 然后,您需要在每个节点上配置Kerberos客户端,使其能够使用正确的principal和keytab文件进行身份验证。这通常通过编辑/etc/krb5.conf文件来完成。

    4. 最后,您需要在Hadoop的配置文件中添加一些Kerberos相关的属性,以便Hadoop服务能够正确地使用Kerberos进行身份验证。这包括在core-site.xml、hdfs-site.xml和mapred-site.xml文件中添加相应的属性。

    2023-11-30 13:06:17
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关产品

  • 开源大数据平台 E-MapReduce
  • 相关电子书

    更多
    阿里云云原生 Serverless 技术实践营 PPT 演讲 立即下载
    阿里云产品十月刊 立即下载
    基于阿里云构建博学谷平台实时湖仓 立即下载