开发者社区> 问答> 正文

HDFS 的读数据流程是怎样的呢?

HDFS 的读数据流程是怎样的呢?

展开
收起
游客ydhxr2xydmgpo 2021-12-05 21:07:05 647 0
1 条回答
写回答
取消 提交回答
  • 1 客户端通过 Distributed FileSystem 向 namenode 请求下载文件, namenode 通过查询元数据,找到文件块所在的 datanode 地址。

    2 挑选一台 datanode(就近原则,然后随机)服务器,请求读取数据。

    3 datanode 开始传输数据给客户端(从磁盘里面读取数据输入流,以 packet 为单位来做校验)。

    4 客户端以 packet 为单位接收,先在本地缓存,然后写入目标文件。

    2021-12-05 21:07:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
大批量处理excel文件到ODPS中方案 立即下载
HBase2.0重新定义小对象实时存取 立即下载