阿里云E-MapReduce jindo在这中间是扮演什么角色?加速的作用吗?

阿里云E-MapReduce jindo在这中间是扮演什么角色?加速的作用吗?那不用jindo是不是也可以写到oss,直接用hdfs那套配置

展开
收起
真的很搞笑 2023-10-30 18:06:23 95 发布于黑龙江 分享
分享
版权
举报
2 条回答
写回答
取消 提交回答
  • JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,它面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。在阿里云E-MapReduce中,JindoData的主要角色就是加速数据在OSS和HDFS之间的传输速度。

    是的,即使不使用JindoData,你也可以直接将数据写入OSS。但是,使用JindoData可以显著提高数据在OSS和HDFS之间的传输速度,从而大大提高大数据处理的效率。这是因为JindoData利用了一些优化技术,如并行读写、数据预取等,可以大大提高数据的读取和写入速度。

    JindoData是阿里云E-MapReduce中的一个重要组件,它可以帮助你更有效地处理大数据,提高你的工作效率。

    2023-10-31 15:00:07 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • jindo和这些参数都没有关系。jindo直接走flume里hdfs sink相关的实现。可以这么理解,相比社区实现,写oss速度更快。 用jindo也是hdfs那套配置,此回答整理自钉群“JindoData 用户交流群”

    2023-10-30 22:54:15 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等