开发者社区> 问答> 正文

HDFS数据安全性如何保证?

HDFS数据安全性如何保证?

展开
收起
芯在这 2021-12-05 18:12:51 381 0
1 条回答
写回答
取消 提交回答
  • (1) 存储在HDFS系统上的文件,会分割成128M大小的block存储在不同的节点上,block的副本数默认3份,也可配置成更多份

    (2) 第一个副本一般放置在与client(客户端)所在的同一节点上(若客户端无datanode,则随机放),第二个副本放置到与第一个副本同一机架的不同节点,第三个副本放到不同机架的datanode节点,当取用时遵循就近原则

    (3) datanode已block为单位,每3s报告心跳状态,当10min内不报告心跳状态则namenode认为block已死掉,namonode会把其上面的数据备份到其他一个datanode节点上,保证数据的副本数量

    (4) datanode会默认每小时把自己节点上的所有块状态信息报告给namenode

    (5) 采用safemode模式:datanode会周期性的报告block信息。Namenode会计算block的损坏率,当阀值<0.999f时系统会进入安全模式,HDFS只读不写。HDFS元数据采用secondaryname备份或者HA备份

    2021-12-05 18:13:09
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
大数据时代的存储 ——HBase的实践与探索 立即下载
在多租户环境中提高HBase可用性 立即下载