开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云云原生数据湖加速是什么?

阿里云云原生数据湖加速是什么?

展开
收起
Lee_tianbai 2021-01-07 15:12:41 1391 0
1 条回答
写回答
取消 提交回答
  • 对象存储系统在架构设计上和 HDFS 等分布式文件系统存在一定差异,同时存储和计 算分离架构中 OSS 是远端的存储服务,在大数据计算层面缺少对数据本地化的支持。因 此,在 OSS 对象存储服务的基础上,阿里云定制了自研的大数据存储服务 —— JindoFS,极大的提升数据湖上的引擎分析性能,在 TPC-DS、Terasort 等常见的 benchmark 测试中,采用计算存储分离架构的 JindoFS 性能已经达到或超过了本地部署 的 HDFS。同时 JindoFS 完全兼容 Hadoop 文件系统接口,给客户带来更加灵活、高效 的计算存储方案,目前已验证支持 Hadoop 开源生态中最主流的计算服务和引擎:Spark、 Flink、Hive、MapReduce、Presto、Impala 等。当前 JindoFS 存储服务包含在阿里 云 EMR 产品中,未来 JindoFS 会有更多的产品形态服务于数据湖加速场景。

    2021-01-07 15:12:51
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
云原生加速数字创新的新质生产力 立即下载
为创新提速,打造智算时代的云原生应用平台 立即下载
云原生产业大会:阿里云精彩内容集锦 立即下载