开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

数据湖要考虑的首要问题是什么?

数据湖要考虑的首要问题是什么?

展开
收起
Lee_tianbai 2021-01-07 16:34:27 1447 0
2 条回答
写回答
取消 提交回答
  • 广州搜床网络科技有限公司成立于2015年8月,是一家以房源共享、人力共享和全互联网化运营三大创新引领酒店业变革的互联网酒店运营企业。

    数据库未来一段时间内数量的增长规模

    2021-01-08 10:04:01
    赞同 展开评论 打赏
  • 从定义看,一块 u 盘即符合数据湖的定义。u 盘可以是数据湖,oss 可以是数据湖, hdfs、盘古也可以是数据湖。它们均严格的符合数据湖的定义。作为企业的数据湖技术选 型第一个需要考虑的问题就是:采用什么样的存储介质或存储系统作为自己的数据湖解决方 案。众所周知,不同的存储介质或存储系统有不同的优势和劣势。比如:有的存储系统随机 读取的响应时间更好、有的系统批量读取的吞吐量更好、有的系统存储成本更低、有的系统 扩展性更好、有的系统结构化数据组织得更高效...相应的,这些提到的各个指标中有些恰恰 是有些存储所不擅长的,如何享有所有存储系统的优势、规避所有存储系统的劣势变成了云 上数据湖服务要考虑的首要问题。 要解决这个矛盾的问题,在理论上是不可能一劳永逸的。聪明的做法是对上提供一个逻 辑上的存储解决方案,然后让需要不同访问特点的数据灵活地在各种底层存储系统中迁移。 通过便捷的数据迁移(、以及数据格式转化)的能力, 来充分发挥出各个存储系统的优势。 结论:成熟的数据湖一定是一个逻辑上的存储系统,它的底层是多个各种类型的存储系统所 组成。

    2021-01-08 15:46:56
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
基于MaxCompute快速打通数仓和数据湖:湖仓一体实践 立即下载
DLA 一站式数据湖管理-如何高效构建安全的数据湖? 立即下载
数据湖技术解析 立即下载