开发者社区> 问答> 正文

Hadoop中用户写入流程是什么?

Hadoop中用户写入流程是什么?

展开
收起
真的很搞笑 2021-12-05 00:39:15 232 0
1 条回答
写回答
取消 提交回答
  • client 把文件做一个切分,然后指定副本数,向 NN 发送写请求, NN里面记并存储了DN 上的元数据,包含(DN的列表和,和数据块),NN 根据客户端和DN的实际情况,返回DN的列表(按距离排序), 客户端向DN 发送block数据块了,按照packet 发送数据,每个64k,并发送DN 列表,让DN知道存储在哪些DN上。 第一个DN接收到数据后,就一个点一个点的往后同步数据。如果第一个故障,就发往第二个,再开始同步 第一个DN接收完毕后,向client发送一个确认码,用于避免网络故障 所有的DN 同步完成后,向 NN 发送数据块报告 最后NN 把数据存盘

    2021-12-05 00:39:32
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多