开发者社区> 问答> 正文

为什么我们需要Hadoop中的数据位置?

南霸天霸南北 2019-11-07 20:08:37 685

为什么我们需要Hadoop中的数据位置?

分布式计算 Hadoop
分享到
取消 提交回答
全部回答(1)
  • 南霸天霸南北
    2019-11-07 20:08:50

    HDFS中的数据集存储为Hadoop集群的DataNodes中的块。在MapReduce作业执行期间,各个Mapper处理块(Input Splits)。如果数据不在Mapper执行作业的同一节点中,则需要通过网络将数据从DataNode复制到映射器DataNode。

    现在,如果MapReduce作业具有超过100个Mapper并且每个Mapper尝试同时从集群中的其他DataNode复制数据,则会导致严重的网络拥塞,这是整个系统的一个重要性能问题。因此,数据接近计算是一种有效且具有成本效益的解决方案,在技术上称为Hadoop中的数据位置。它有助于提高系统的整体吞吐量。

    数据局部性能的3 种:

    数据本地 - 在此类型数据和映射器驻留在同一节点上。这是最接近数据和最优选的方案。 机架本地 - 在这种情况下,映射器和数据驻留在同一机架上,但位于不同的数据节点上。 不同的机架 - 在这种情况下,映射器和数据驻留在不同的机架上。

    0 0
阿里巴巴大数据计算
使用钉钉扫一扫加入圈子
+ 订阅

阿里大数据官方技术圈

推荐文章
相似问题
链接