JindoFS弹性运维是什么?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

JindoFS弹性运维是什么?

Lee_tianbai 2021-01-07 15:31:02 327

JindoFS弹性运维是什么?

运维ssh 运维是什么 弹性是什么
分享到
取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 15:31:11

    HDFS 使用 DataNode 在存储节点上来管理节点存储,全部数据块都存储在节点的 磁盘上,依靠 DataN ode 定期检查和心跳把存储状态上报给 Name Node, NameNode 通过汇总和计算,动态地保证文件的数据块达到设定的副本数(一般 3 副 本)。对于大规模集群(节点 1000+),经常需要进行集群节点扩容,节点迁移,节点下 线,节点数据平衡这样的操作,大量的数据块的副本计算增加了 NameNode 负载,同时, 节点相关操作要等待 NameNode 内部的副本调度完成才能进行,通常一个存储节点的下 线需要小时级别的等待才能完成。JindoFS 使用 StorageService 来管理节点上的存储, 由于 JindoFS 保证了数据在 OSS 上有一副本,所以本地的副本主要用来进行缓存加速。 对于节点迁移、节点下线等场景,JindoFS 无需复杂副本计算,通过快速的“标记”即可 完成下线。

    0 0
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

推荐文章
相似问题
最新问题
推荐课程
官网链接