MapReduce的输入和输出数据格式有哪些？请举例说明。
MapReduce的输入和输出数据格式在Hadoop中通常使用键值对（key-value pair）的形式表示。键值对是一种常见的数据结构，它由一个键（key）和一个对应的值（value）组成。在MapReduce中，输入数据被划分为多个键值对，并经过Map阶段的处理后，输出也是一组键值对。
Hadoop提供了多种输入和输出数据格式，下面将介绍几种常用的格式，并给出相应的代码示例。
- TextInputFormat和TextOutputFormat：这是Hadoop中最常用的输入和输出格式。TextInputFormat将输入文件划分为每行一个键值对，键是行的偏移量（offset），值是行的内容。TextOutputFormat将键值对按照文本格式输出到文件中。
下面是一个使用TextInputFormat和TextOutputFormat的示例代码：
import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class TextInputOutputExample { public static void main(String[] args) throws Exception { // 创建一个新的MapReduce作业 Job job = Job.getInstance(); job.setJarByClass(TextInputOutputExample.class); job.setJobName("TextInputOutputExample"); // 设置输入文件路径和输入格式 FileInputFormat.addInputPath(job, new Path(args[0])); job.setInputFormatClass(TextInputFormat.class); // 设置输出文件路径和输出格式 FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setOutputFormatClass(TextOutputFormat.class); // 设置Mapper类和Reducer类 job.setMapperClass(MapperClass.class); job.setReducerClass(ReducerClass.class); // 设置输出键值对类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(LongWritable.class); // 提交作业并等待完成 System.exit(job.waitForCompletion(true) ? 0 : 1); } }
在上述代码中，我们创建了一个新的MapReduce作业，并设置了作业的名称和主类。然后，我们使用FileInputFormat类的addInputPath方法设置输入文件路径，并使用TextInputFormat类作为输入格式。使用FileOutputFormat类的setOutputPath方法设置输出文件路径，并使用TextOutputFormat类作为输出格式。
- KeyValueTextInputFormat和KeyValueTextOutputFormat：这两个格式与TextInputFormat和TextOutputFormat类似，但键和值之间使用制表符或空格进行分隔。键和值可以是任意类型的字符串。
下面是一个使用KeyValueTextInputFormat和KeyValueTextOutputFormat的示例代码：
import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat; import org.apache.hadoop.mapreduce.lib.output.KeyValueTextOutputFormat; public class KeyValueTextInputOutputExample { public static void main(String[] args) throws Exception { // 创建一个新的MapReduce作业 Job job = Job.getInstance(); job.setJarByClass(KeyValueTextInputOutputExample.class); job.setJobName("KeyValueTextInputOutputExample"); // 设置输入文件路径和输入格式 FileInputFormat.addInputPath(job, new Path(args[0])); job.setInputFormatClass(KeyValueTextInputFormat.class); // 设置输出文件路径和输出格式 FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setOutputFormatClass(KeyValueTextOutputFormat.class); // 设置Mapper类和Reducer类 job.setMapperClass(MapperClass.class); job.setReducerClass(ReducerClass.class); // 设置输出键值对类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // 提交作业并等待完成 System.exit(job.waitForCompletion(true) ? 0 : 1); } }
在上述代码中，我们使用KeyValueTextInputFormat类作为输入格式，并使用KeyValueTextOutputFormat类作为输出格式。
除了上述示例中提到的输入和输出格式外，Hadoop还提供了其他一些常用的格式，如SequenceFileInputFormat和SequenceFileOutputFormat、AvroKeyInputFormat和AvroKeyOutputFormat等。根据具体的需求和数据类型，可以选择合适的输入和输出格式。
通过使用不同的输入和输出格式，MapReduce可以处理不同类型的数据，并将结果以适当的格式进行输出。这使得MapReduce在处理大规模数据时更加灵活和高效。
