开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云E-MapReduce的oss-hdfs用到的jindo sdk包,有mvn仓库可以下载吗?

阿里云E-MapReduce的oss-hdfs用到的jindo sdk包,有mvn仓库可以下载吗?https://help.aliyun.com/document_detail/470297.html?spm=a2c4g.470336.0.0
为什么是给tar包,一个包800+M,解压后1.7G,实际上只用得到其中的jar包,有提供mvn仓库下载地址或在线下载jar包的地址吗?开发时编译每次下载tar比较费时,编译的机子带宽可能没那么高,这个东西似乎没有开源,如果把用到的哪个jar包放到我们托管的mvn仓库,又会涉及到知识产权问题,使用起来非常难受。而且jindo-hadoop-sdk似乎不在mvn仓库里。

展开
收起
三分钟热度的鱼 2023-07-11 16:58:59 247 0
2 条回答
写回答
取消 提交回答
  • 根据您提供的信息,阿里云 E-MapReduce 所用到的 Jindo SDK 包(oss-hdfs)可能没有提供在公开的 Maven 仓库中下载的方式。您在阿里云的文档中提到了一个 tar 包,里面包含了该 SDK 的 jar 文件。

    目前,Jindo SDK(包括 jindo-hadoop-sdk)似乎不在公共的 Maven 仓库中提供下载。这可能是因为 Jindo SDK 是阿里云自家开发的,可能有一些特有的功能和定制化的内容,并且可能涉及到知识产权等问题。

    如果您想将该 SDK 的 jar 文件放入您自己托管的 Maven 仓库,确实需要考虑知识产权的问题。在这种情况下,建议您与阿里云的技术支持团队联系,咨询他们是否可以提供合适的授权或者另外的解决方案。

    另外,如果您发现每次编译时下载 tar 包比较费时,您可以考虑将该 tar 包下载到本地并使用本地的 tar 包进行编译,避免每次都从网络上下载。此外,您还可以尝试在具有更高带宽的机器上进行编译,以加快下载速度。

    请注意,具体关于 Jindo SDK 和阿里云 E-MapReduce 的配置、使用和下载方式,最好参考阿里云的官方文档或者与他们的技术支持团队联系。他们可以为您提供更具体和准确的建议。

    2023-07-31 15:52:07
    赞同 展开评论 打赏
  • 4.6.x 开始支持 maven 发布,可以试下 5.0.0 的包,如果有异常可以把异常栈发出来。https://github.com/aliyun/alibabacloud-jindodata/blob/master/docs/user/4.x/4.6.x/4.6.1/oss/hadoop/jindosdk_ide_hadoop.md 此回答整理自钉群“JindoData用户交流群”

    2023-07-11 17:05:14
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关产品

  • 开源大数据平台 E-MapReduce
  • 相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载