Hadoop Distributed File System (HDFS) 在 Hadoop 中是数据的存储基石，它采用了一种分布式存储的方式来处理大规模数据集。在 HDFS 中，数据分片（Data Partitioning）是数据处理的关键步骤之一，它有助于在集群中并行处理数据。以下是关于 HDFS 数据分片的详细解释：
数据块（Block）：
- HDFS 将文件分割成多个固定大小的数据块（Block）进行存储。
- 默认情况下，一个 Block 的大小为 128MB（但在旧版本的 Hadoop 中，这个值可能是 64MB）。
- 如果文件大小小于 Block 大小，则该文件不会占据整个 Block 的空间。
数据分片（Data Splitting）：
- 在 Hadoop 的 MapReduce 作业中，数据分片（Splitting）是数据处理的初步阶段。
- 数据分片是将输入数据逻辑上划分为多个片段（Splits），以便 Map 阶段可以并行处理这些片段。
- 分片大小（Split Size）通常与 Block 大小相关，但不一定完全相等。
- 分片的大小由多个因素决定，包括文件大小、配置的 Map 任务数量、HDFS Block 大小以及
mapred.min.split.size和mapred.max.split.size等参数。
数据分片过程：
- 当 Hadoop 作业被提交时，JobTracker（或 ResourceManager 在 YARN 架构中）会调用 FileInputFormat 的
getSplits()方法来确定输入数据的分片。 getSplits()方法会基于文件的 Block 信息和配置参数来计算每个分片的起始和结束位置。- 对于每个分片，Hadoop 会启动一个 Map 任务来处理该分片的数据。
- 当 Hadoop 作业被提交时，JobTracker（或 ResourceManager 在 YARN 架构中）会调用 FileInputFormat 的
分片与 Block 的关系：
- 分片是在逻辑上对输入数据进行的划分，而 Block 是 HDFS 中物理存储数据的单位。
- 一个分片可能包含多个 Block，也可能一个 Block 被多个分片共享。
- 通常情况下，为了提高数据本地性和处理效率，Hadoop 会尽量将分片与 Block 对齐。
数据分片的重要性：
- 合理的数据分片能够充分利用集群的计算资源，提高数据处理的速度和效率。
- 通过调整分片大小和数量，可以影响 Map 任务的并行度和执行效率。
- 适当的分片策略还能减少跨节点数据传输的开销，降低网络负载。
总结来说，HDFS 的数据分片是 Hadoop 处理大规模数据集的关键步骤之一。通过将数据逻辑上划分为多个分片，Hadoop 能够在集群中并行处理这些数据，从而提高数据处理的速度和效率。
