为什么我们需要Hadoop中的数据位置？

• file://${hadoop.tmp.dir}/dfs/data 确定DFS数据节点应该在本地文件系统上存储块的位置。

HDFS中的数据集存储为Hadoop集群的DataNodes中的块。在MapReduce作业执行期间，各个Mapper处理块（Input Splits）。如果数据不在Mapper执行作业的同一节点中，则需要通过网络将数据从DataNode复制到映射器DataNode。

现在，如果MapReduce作业具有超过100个Mapper并且每个Mapper尝试同时从集群中的其他DataNode复制数据，则会导致严重的网络拥塞，这是整个系统的一个重要性能问题。因此，数据接近计算是一种有效且具有成本效益的解决方案，在技术上称为Hadoop中的数据位置。它有助于提高系统的整体吞吐量。

数据局部性能的3 种：

数据本地 - 在此类型数据和映射器驻留在同一节点上。这是最接近数据和最优选的方案。 机架本地 - 在这种情况下，映射器和数据驻留在同一机架上，但位于不同的数据节点上。 不同的机架 - 在这种情况下，映射器和数据驻留在不同的机架上。