开发者社区> 问答> 正文

数据湖中面向对象存储分析的问题有哪些?

数据湖中面向对象存储分析的问题有哪些?

展开
收起
游客qzzytmszf3zhq 2021-12-09 19:46:02 507 0
1 条回答
写回答
取消 提交回答
  • 对象存储相比HDFS为了保证高扩展性,在元数据管理方面选择的是扁平的方式;元数据管理没有维护目录结构,因此可以做到元数据服务的水平扩展,而不像HDFS的NameNode会有单点瓶颈。同时对象存储相比HDFS可以做到免运维,按需进行存储和读取,构建完全的存储计算分离架构。但是面向分析与计算也带来了一些问题:

    List慢:对象存储按照目录/进行list相比HDFS怎么慢这么多? 请求次数过多:分析计算的时候怎么对象存储的请求次数费用比计算费用还要高? Rename慢:Spark、Hadoop分析写入数据怎么一直卡在commit阶段? 读取慢:1TB数据的分析,相比自建的HDFS集群居然要慢这么多!

    2021-12-09 20:00:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DLA 一站式数据湖管理-如何高效构建安全的数据湖? 立即下载
阿里云云原生数据湖体系全解读 立即下载
数据湖存储解决方案蓝皮书 立即下载