开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云E-MapReduce现在有个ubuntu的机器,为什么最后在yarn上的日志上看到?

阿里云E-MapReduce现在有个ubuntu的机器,上面部署了jindo,已经按照了github上的配置进行了配置。还配置了各种hadopp的环境变量jar包,keytab文件,然后我想往emr上面提交任务,为什么最后在yarn上的日志上看到java.lang.NoClassDefFoundError: Could not initialize class com.aliyun.jindodata.oss.JindoOssFileSystem?image.png
image.png

展开
收起
真的很搞笑 2024-02-14 20:15:56 75 0
1 条回答
写回答
取消 提交回答
  • 看起来像是 Spark 没有加载到 JindoSDK 的 jar 包或者 jindo-core 的 ubuntu 扩展包。直接放在 Spark jars目录底下呢,soark/jars list | grep jindo 看下 ,此回答整理自钉群“JindoData 用户交流群”

    2024-02-15 09:31:34
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关产品

  • 开源大数据平台 E-MapReduce
  • 相关电子书

    更多
    Python第四讲——使用IPython/Jupyter Notebook与日志服务玩转超大规模数据分析与可视化 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载