开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

请教一下,如果某个bucket下子目录太多导致oss读写变慢(可能是oss list等接口较慢),有

请教一下,如果某个bucket下子目录太多导致oss读写变慢(可能是oss list等接口较慢),有什么好的解决方式吗?在JindoData文档里看到了有元数据缓存加速的服务,但是我们EMR集群版本相对较低(EMR-3.32.0),达不到EMR-3.40.0的版本要求。目前集群里有SmartData 3.1.0服务,Cache模式支持缓存,但是好像只支持对热数据块缓存,没有元数据缓存的功能。

展开
收起
雪哥哥 2022-10-17 07:57:09 699 0
1 条回答
写回答
取消 提交回答
  • 可以考虑转用 oss-hdfs(此答案整理自JindoData 用户交流群)

    2022-10-17 13:42:04
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
OSS运维进阶实战手册 立即下载
《OSS运维基础实战手册》 立即下载
OSS运维基础实战手册 立即下载