JindoTable数据湖之分层存储是什么?-问答-阿里云开发者社区-阿里云

开发者社区> Lee_tianbai> 正文

JindoTable数据湖之分层存储是什么?

来自:阿里云EMR 2021-01-07 15:50:21 366 1

JindoTable数据湖之分层存储是什么?

取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 15:50:39

    数据湖所存储的数据量通常增长迅速。对于传统的 Hadoop 集群,如果数据量急剧增 长,所需的存储资源也要相应增加,这样会导致集群规模迅速扩大,计算资源也会变得过剩。 抛开集群规模增长导致的其他问题不谈,光是运营集群的成本问题就足够让人头疼。好在公 有云平台提供了对象存储的服务,我们可以按存储的数据量来付费,这在节约成本的同时, 用户也不用担心 HDFS 在集群资源和数据量快速增长情况下的稳定性问题。但数据量快速 增长还是会等比例的增加整体开销。

    阿里云的对象存储服务 OSS,为用户提供了低频存储和归档存储,对于访问不是那么 频繁的数据,如果能够转为低频或归档模式来存储,可以尽量节约成本。而一部分数据如果 有频繁的访问需求,放在远离计算资源的对象存储上,又会导致计算时的 IO 出现瓶颈。 JindoTable 对接数据湖中各种计算引擎,以表或分区为最小单位,统计数据的访问频次。 根据用户设定的规则,JindoTable 可以告诉用户哪些表或者分区的访问频次较高,让用户 可以通过 JindoTable 命令,借助 JindoFS 提供的底层支持,把这些表或者分区对应的 数据缓存到计算集群内,加速查询的执行。同时,对于访问频次较低的表或者分区,用户也 可以使用 JindoTable 把对应的数据转为低频或者归档存储类型,或是设置生命周期。在 需要对归档数据操作的时候,可以直接用 JindoTable 对归档数据进行解冻。JindoTable 还为用户提供了元数据管理,方便用户检视表或者分区当前的存储状态。JindoTable 让用 户 能 尽 可 能 高 效 地 管 理 自 己 的 数 据 , 节 约 成 本 的 同 时 , 不 牺 牲 计 算 性 能 。

    0 0
相关问答

78

回答

小白用户ECS使用实践【持续连载中】

qilu 2014-06-18 15:37:00 72529浏览量 回答数 78

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120246浏览量 回答数 10

38

回答

干货分享:DBA专家门诊一期:索引与sql优化问题汇总

xiaofanqie 2014-12-25 15:13:38 91766浏览量 回答数 38

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292294浏览量 回答数 110

51

回答

ossfs工具发布啦,让传统软件和云端存储完美融合

scorpion 2015-12-08 09:18:56 69714浏览量 回答数 51

23

回答

【云服务器分享】网站访问速度快才是硬道理

dreamdoo 2012-10-15 10:15:02 85188浏览量 回答数 23

13

回答

【云服务器分享】如何节省网站流量

dreamdoo 2012-10-15 10:36:09 80124浏览量 回答数 13

62

回答

磁盘原地扩容功能4月22日正式上线

艳馨 2015-04-21 23:40:33 96088浏览量 回答数 62

23

回答

【精品问答合集】Redis热门问答

李博 bluemind 2019-05-29 16:36:15 126301浏览量 回答数 23

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204008浏览量 回答数 2
+关注
0
文章
1008
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载