开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

数据湖的对接主要体现在哪几个方面?

数据湖的对接主要体现在哪几个方面?

展开
收起
Lee_tianbai 2021-01-07 16:10:22 1023 0
1 条回答
写回答
取消 提交回答
  • 数据湖的对接主要体现在元数据与存储引擎两个方面。元数据为所有用户所共享,提供 统一的元数据访问接口。各个引擎使用定制化的元数据访问客户端来访问元数据。元数据服 务为各个用户提供租户隔离保证和认证鉴权服务。在数据存储方面,用户使用自己的 OSS 存储存储数据,各个引擎需要具备访问 OSS 的功能,这对于阿里云服务和大部分支持 HDFS 存储的引擎都不是什么问题。在 OSS 存储上层,数据湖构建服务还提供了可选的 数据湖加速服务。而使用该服务也非常简单,只需要在引擎侧将对 OSS 的访问路径替换 为加速服务提供的路径即可。

    2021-01-07 16:10:30
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
基于MaxCompute快速打通数仓和数据湖:湖仓一体实践 立即下载
DLA 一站式数据湖管理-如何高效构建安全的数据湖? 立即下载
数据湖技术解析 立即下载