开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云E-MapReduce ak信息,通过jar命令传进来吗?

阿里云E-MapReduce jindo 支持将oss的endpoin 、ak信息,通过jar命令传进来吗?

展开
收起
cuicuicuic 2023-11-30 13:00:22 57 0
3 条回答
写回答
取消 提交回答
  • 是的,此回答整理自钉群“JindoData 用户交流群”

    2023-11-30 21:44:50
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,阿里云E-MapReduce中的Jindo组件支持通过jar命令将OSS的endpoint、access key(AK)和secret access key(SK)信息传进来。例如,在使用Jindo DistCp进行数据迁移时,可以采用以下命令格式:

    hadoop jar jindo-distcp-${version}.jar -Djfs.oss.endpoint=${endpoint} -Djfs.oss.accessKeyId=${accessKeyId} -Djfs.oss.accessKeySecret=${accessKeySecret} src dst
    

    这里${version}指的是Jindo DistCp的版本号,srcdst分别是源路径和目标路径,而${endpoint}${accessKeyId}${accessKeySecret}则是你想要使用的OSS endpoint、access key ID和secret access key。

    请注意,实际使用时需要根据你的具体需求来设置这些参数,并确保它们与你的OSS服务相匹配。同时,为了安全起见,建议不要在命令行中明文传递敏感信息,如访问密钥和秘密密钥,而是使用更安全的方式来管理这些凭证,例如环境变量或配置文件。

    2023-11-30 13:28:51
    赞同 展开评论 打赏
  • CSDN全栈领域优质创作者,万粉博主;InfoQ签约博主;华为云享专家;华为Iot专家;亚马逊人工智能自动驾驶(大众组)吉尼斯世界纪录获得者

    是的,阿里云E-MapReduce的Jindo DistCp工具确实支持通过命令行参数传递OSS的Endpoint和AccessKey信息。在提交MapReduce任务时,您需要提供具有写目标Bucket权限的OSS AccessKey(包括AccessKey ID和AccessKey Secret),以及相应的Endpoint信息。

    值得一提的是,Jindo DistCp是阿里云E-MapReduce团队开发的大规模集群内部和集群之间分布式文件拷贝的工具。其使用MapReduce实现文件分发、错误处理和恢复,把文件和目录的列表作为MapReduce任务的输入,每个任务会完成源列表中部分文件的拷贝。

    此外,Jindo SDK会根据访问路径中的Endpoint访问对应的OSS、OSS-HDFS服务接口。同时,为了简化访问路径格式,您还可以配置默认的Endpoint。这样,您就可以像操作本地文件系统一样操作OSS/OSS-HDFS上的文件了。

    2023-11-30 13:05:01
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关产品

  • 开源大数据平台 E-MapReduce
  • 相关电子书

    更多
    阿里云云原生 Serverless 技术实践营 PPT 演讲 立即下载
    阿里云产品十月刊 立即下载
    基于阿里云构建博学谷平台实时湖仓 立即下载