开发者社区> 问答> 正文

Hadoop 写数据的流程是怎样的?

Hadoop 写数据的流程是怎样的?

展开
收起
Medusa 2022-01-13 18:12:58 732 0
1 条回答
写回答
取消 提交回答
  • Hadoop 写数据的简易流程如下图所示,

    配图20.png

    (1)客户端向 NameNode 发起元数据请求,指定文件上传的路径。此时,NameNode内部会进行一系列操作,如验证客户端指定的路径是否合法、客户端是否具有写权限等。验证通过后,NameNode 会为文件分配块存储信息。

    (2)NameNode 向客户端返回元数据信息,并给客户端返回一个输出流。

    (3)客户端获取到元数据和输出流之后,开始向第一个 DataNode 写数据块。

    (4)第一个 DataNode 将数据块发送给第二个 DataNode,第二个 DataNode 将数据块发送给第三个 DataNode,以此类推,写完所有的数据块。

    (5)每个 DataNode 会向上游的 DataNode 发送结果确认信息,以保证写入数据的完整性。

    (6)DataNode 向客户端发送结果确认信息,保证数据写入成功。

    (7)当所有的数据块都写完,并且客户端接收到写入成功的确认信息后,客户端会向NameNode 发送关闭数据流请求,NameNode 会将之前创建的输出流关闭。

    以上内容摘自《海量数据处理与大数据技术实战》电子书,点击https://developer.aliyun.com/topic/download?id=8205可下载完整版

    2022-01-13 20:25:05
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多