为什么说数据湖是大数据和 AI 时代融合存储和计算的全新体系?-问答-阿里云开发者社区-阿里云

开发者社区> Lee_tianbai> 正文

为什么说数据湖是大数据和 AI 时代融合存储和计算的全新体系?

来自:阿里云EMR 2021-01-07 15:09:16 778 1

为什么说数据湖是大数据和 AI 时代融合存储和计算的全新体系?

取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 15:09:27

    数据量爆发式增长的今天,数字化转型成为 IT 行业的热点,数据需要更深度的价值挖 掘,因此需要确保数据中保留的原始信息不丢失,应对未来不断变化的需求。 当前以 Oracle 为代表的数据库中间件已经逐渐无法适应这样的需求,于是业界也不断 地产生新的计算引擎,以便应对大数据时代的到来。 企业开始纷纷自建开源 Hadoop 数据湖架构,原始数据统一存放在 HDFS 系统上,引 擎以 Hadoop 和 Spark 开源生态为主,存储和计算一体。 缺点是需要企业自己运维和管理整套集群,成本高且集群稳定性较差。 在这种情况下,云上托管 Hadoop 数据湖架构(即 EMR 开源数据湖)应运而生。底 层物理服务器和开源软件版本由云厂商提供和管理,数据仍统一存放在 HDFS 系统上,引 擎以 Hadoop 和 Spark 开源生态为主。 这个架构通过云上 IaaS 层提升了机器层面的弹性和稳定性,使企业的整体运维成本有 所下降,但企业仍然需要对 HDFS 系统以及服务运行状态进行管理和治理,即应用层的运 维工作。 因为存储和计算耦合在一起,稳定性不是最优,两种资源无法独立扩展,使用成本也不 是最优。

    0 0
相关问答

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120250浏览量 回答数 10

38

回答

干货分享:DBA专家门诊一期:索引与sql优化问题汇总

xiaofanqie 2014-12-25 15:13:38 91769浏览量 回答数 38

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292299浏览量 回答数 110

10

回答

新的技术,比如大数据、AI如何应用在航空行业?

诺诺罗亚 2019-06-26 16:15:54 117480浏览量 回答数 10

23

回答

【云服务器分享】网站访问速度快才是硬道理

dreamdoo 2012-10-15 10:15:02 85192浏览量 回答数 23

7

回答

大数据如何应用在航空领域?

游客evqqr7nnmkzcs 2019-06-26 17:58:27 118030浏览量 回答数 7

62

回答

磁盘原地扩容功能4月22日正式上线

艳馨 2015-04-21 23:40:33 96089浏览量 回答数 62

23

回答

【精品问答合集】Redis热门问答

李博 bluemind 2019-05-29 16:36:15 126306浏览量 回答数 23

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204011浏览量 回答数 2

13

回答

游戏云精彩帖汇总

nono20011908 2014-08-22 11:00:12 203647浏览量 回答数 13
+关注
0
文章
1008
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载