AI 助理
备案控制台
开发者社区 大数据 文章 正文

hadoop实例sort

2017-12-29 1773
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

参考文献：http://www.hadooper.cn/dct/page/65777

1排序实例

排序实例仅仅用 map/reduce框架来把输入目录排序放到输出目录。 输入和输出必须是顺序文件，键和值是BytesWritable.
mapper是预先定义的IdentityMapper，reducer 是预先定义的 IdentityReducer， 两个都是把输入直接的输出。
要运行这个例 子：bin/hadoop jar hadoop-*-examples.jar sort [-m <#maps>] [-r <#reduces>] <in-dir> <out-dir>

2运行排序基准测试

为了使得排序例子作为一个 基准测试，用 RandomWriter产 生10GB/node 的数据。然后用排序实例来进行排序。这个提供了一个可扩展性依赖于集群的大小的排序基准。默认情况下，排序实例用1.0*capacity作为 reduces的数量，依赖于你的集群的大小你可能会在1.75*capacity的情况下得到更好的结果。

To use the sort example as a benchmark, generate 10GB/node of random data using RandomWriter. Then sort the data using the sort example. This provides a sort benchmark that scales depending on the size of the cluster. By default, the sort example uses 1.0 * capacity for the number of reduces and depending on your cluster you may see better results at 1.75 * capacity.

命令是：

[cpp]  view plain copy print ?
  1. % bin/hadoop jar hadoop-*-examples.jar randomwriter rand  
  2. % bin/hadoop jar hadoop-*-examples.jar sort rand rand-sort  

第一个命令会在rand 目录的生成没有排序的数据。第二个命令会读数据，排序，然后写入rand-sort 目录

排序支持一般的选项：参见DevelopmentCommandLineOptions

3具体实验

3.1代码实例Sort.java

[cpp]  view plain copy print ?
  1. /** 
  2.  * Licensed to the Apache Software Foundation (ASF) under one 
  3.  * or more contributor license agreements.  See the NOTICE file 
  4.  * distributed with this work for additional information 
  5.  * regarding copyright ownership.  The ASF licenses this file 
  6.  * to you under the Apache License, Version 2.0 (the 
  7.  * "License"); you may not use this file except in compliance 
  8.  * with the License.  You may obtain a copy of the License at 
  9.  * 
  10.  *     http://www.apache.org/licenses/LICENSE-2.0 
  11.  * 
  12.  * Unless required by applicable law or agreed to in writing, software 
  13.  * distributed under the License is distributed on an "AS IS" BASIS, 
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
  15.  * See the License for the specific language governing permissions and 
  16.  * limitations under the License. 
  17.  */  
  18.   
  19. package org.apache.hadoop.examples;  
  20.   
  21. import java.io.IOException;  
  22. import java.net.URI;  
  23. import java.util.*;  
  24.   
  25. import org.apache.hadoop.conf.Configuration;  
  26. import org.apache.hadoop.conf.Configured;  
  27. import org.apache.hadoop.filecache.DistributedCache;  
  28. import org.apache.hadoop.fs.Path;  
  29. import org.apache.hadoop.io.BytesWritable;  
  30. import org.apache.hadoop.io.Writable;  
  31. import org.apache.hadoop.io.WritableComparable;  
  32. import org.apache.hadoop.mapred.*;  
  33. import org.apache.hadoop.mapred.lib.IdentityMapper;  
  34. import org.apache.hadoop.mapred.lib.IdentityReducer;  
  35. import org.apache.hadoop.mapred.lib.InputSampler;  
  36. import org.apache.hadoop.mapred.lib.TotalOrderPartitioner;  
  37. import org.apache.hadoop.util.Tool;  
  38. import org.apache.hadoop.util.ToolRunner;  
  39.   
  40. /** 
  41.  * This is the trivial map/reduce program that does absolutely nothing 
  42.  * other than use the framework to fragment and sort the input values. 
  43.  * 
  44.  * To run: bin/hadoop jar build/hadoop-examples.jar sort 
  45.  *            [-m <i>maps</i>] [-r <i>reduces</i>] 
  46.  *            [-inFormat <i>input format class</i>]  
  47.  *            [-outFormat <i>output format class</i>]  
  48.  *            [-outKey <i>output key class</i>]  
  49.  *            [-outValue <i>output value class</i>]  
  50.  *            [-totalOrder <i>pcnt</i> <i>num samples</i> <i>max splits</i>] 
  51.  *            <i>in-dir</i> <i>out-dir</i>  
  52.  */  
  53. public class Sort<K,V> extends Configured implements Tool {  
  54.   private RunningJob jobResult = null;  
  55.   
  56.   static int printUsage() {  
  57.     System.out.println("sort [-m <maps>] [-r <reduces>] " +  
  58.                        "[-inFormat <input format class>] " +  
  59.                        "[-outFormat <output format class>] " +   
  60.                        "[-outKey <output key class>] " +  
  61.                        "[-outValue <output value class>] " +  
  62.                        "[-totalOrder <pcnt> <num samples> <max splits>] " +  
  63.                        "<input> <output>");  
  64.     ToolRunner.printGenericCommandUsage(System.out);  
  65.     return -1;  
  66.   }  
  67.   
  68.   /** 
  69.    * The main driver for sort program. 
  70.    * Invoke this method to submit the map/reduce job. 
  71.    * @throws IOException When there is communication problems with the  
  72.    *                     job tracker. 
  73.    */  
  74.   public int run(String[] args) throws Exception {  
  75.   
  76.     JobConf jobConf = new JobConf(getConf(), Sort.class);  
  77.     jobConf.setJobName("sorter");  
  78.   
  79.     jobConf.setMapperClass(IdentityMapper.class);          
  80.     jobConf.setReducerClass(IdentityReducer.class);  
  81.   
  82.     JobClient client = new JobClient(jobConf);  
  83.     ClusterStatus cluster = client.getClusterStatus();  
  84.     int num_reduces = (int) (cluster.getMaxReduceTasks() * 0.9);  
  85.     String sort_reduces = jobConf.get("test.sort.reduces_per_host");  
  86.     if (sort_reduces != null) {  
  87.        num_reduces = cluster.getTaskTrackers() *   
  88.                        Integer.parseInt(sort_reduces);  
  89.     }  
  90.     Class<? extends InputFormat> inputFormatClass =   
  91.       SequenceFileInputFormat.class;  
  92.     Class<? extends OutputFormat> outputFormatClass =   
  93.       SequenceFileOutputFormat.class;  
  94.     Class<? extends WritableComparable> outputKeyClass = BytesWritable.class;  
  95.     Class<? extends Writable> outputValueClass = BytesWritable.class;  
  96.     List<String> otherArgs = new ArrayList<String>();  
  97.     InputSampler.Sampler<K,V> sampler = null;  
  98.     for(int i=0; i < args.length; ++i) {  
  99.       try {  
  100.         if ("-m".equals(args[i])) {  
  101.           jobConf.setNumMapTasks(Integer.parseInt(args[++i]));  
  102.         } else if ("-r".equals(args[i])) {  
  103.           num_reduces = Integer.parseInt(args[++i]);  
  104.         } else if ("-inFormat".equals(args[i])) {  
  105.           inputFormatClass =   
  106.             Class.forName(args[++i]).asSubclass(InputFormat.class);  
  107.         } else if ("-outFormat".equals(args[i])) {  
  108.           outputFormatClass =   
  109.             Class.forName(args[++i]).asSubclass(OutputFormat.class);  
  110.         } else if ("-outKey".equals(args[i])) {  
  111.           outputKeyClass =   
  112.             Class.forName(args[++i]).asSubclass(WritableComparable.class);  
  113.         } else if ("-outValue".equals(args[i])) {  
  114.           outputValueClass =   
  115.             Class.forName(args[++i]).asSubclass(Writable.class);  
  116.         } else if ("-totalOrder".equals(args[i])) {  
  117.           double pcnt = Double.parseDouble(args[++i]);  
  118.           int numSamples = Integer.parseInt(args[++i]);  
  119.           int maxSplits = Integer.parseInt(args[++i]);  
  120.           if (0 >= maxSplits) maxSplits = Integer.MAX_VALUE;  
  121.           sampler =  
  122.             new InputSampler.RandomSampler<K,V>(pcnt, numSamples, maxSplits);  
  123.         } else {  
  124.           otherArgs.add(args[i]);  
  125.         }  
  126.       } catch (NumberFormatException except) {  
  127.         System.out.println("ERROR: Integer expected instead of " + args[i]);  
  128.         return printUsage();  
  129.       } catch (ArrayIndexOutOfBoundsException except) {  
  130.         System.out.println("ERROR: Required parameter missing from " +  
  131.             args[i-1]);  
  132.         return printUsage(); // exits  
  133.       }  
  134.     }  
  135.   
  136.     // Set user-supplied (possibly default) job configs  
  137.     jobConf.setNumReduceTasks(num_reduces);  
  138.   
  139.     jobConf.setInputFormat(inputFormatClass);  
  140.     jobConf.setOutputFormat(outputFormatClass);  
  141.   
  142.     jobConf.setOutputKeyClass(outputKeyClass);  
  143.     jobConf.setOutputValueClass(outputValueClass);  
  144.   
  145.     // Make sure there are exactly 2 parameters left.  
  146.     if (otherArgs.size() != 2) {  
  147.       System.out.println("ERROR: Wrong number of parameters: " +  
  148.           otherArgs.size() + " instead of 2.");  
  149.       return printUsage();  
  150.     }  
  151.     FileInputFormat.setInputPaths(jobConf, otherArgs.get(0));  
  152.     FileOutputFormat.setOutputPath(jobConf, new Path(otherArgs.get(1)));  
  153.   
  154.     if (sampler != null) {  
  155.       System.out.println("Sampling input to effect total-order sort...");  
  156.       jobConf.setPartitionerClass(TotalOrderPartitioner.class);  
  157.       Path inputDir = FileInputFormat.getInputPaths(jobConf)[0];  
  158.       inputDir = inputDir.makeQualified(inputDir.getFileSystem(jobConf));  
  159.       Path partitionFile = new Path(inputDir, "_sortPartitioning");  
  160.       TotalOrderPartitioner.setPartitionFile(jobConf, partitionFile);  
  161.       InputSampler.<K,V>writePartitionFile(jobConf, sampler);  
  162.       URI partitionUri = new URI(partitionFile.toString() +  
  163.                                  "#" + "_sortPartitioning");  
  164.       DistributedCache.addCacheFile(partitionUri, jobConf);  
  165.       DistributedCache.createSymlink(jobConf);  
  166.     }  
  167.   
  168.     System.out.println("Running on " +  
  169.         cluster.getTaskTrackers() +  
  170.         " nodes to sort from " +   
  171.         FileInputFormat.getInputPaths(jobConf)[0] + " into " +  
  172.         FileOutputFormat.getOutputPath(jobConf) +  
  173.         " with " + num_reduces + " reduces.");  
  174.     Date startTime = new Date();  
  175.     System.out.println("Job started: " + startTime);  
  176.     jobResult = JobClient.runJob(jobConf);  
  177.     Date end_time = new Date();  
  178.     System.out.println("Job ended: " + end_time);  
  179.     System.out.println("The job took " +   
  180.         (end_time.getTime() - startTime.getTime()) /1000 + " seconds.");  
  181.     return 0;  
  182.   }  
  183.   
  184. //input attr:/home/hadoop/rand/part-00000 /home/hadoop/rand-sort  
  185.   
  186.   public static void main(String[] args) throws Exception {  
  187.     int res = ToolRunner.run(new Configuration(), new Sort(), args);  
  188.     System.exit(res);  
  189.   }  
  190.   
  191.   /** 
  192.    * Get the last job that was run using this instance. 
  193.    * @return the results of the last job that was run 
  194.    */  
  195.   public RunningJob getResult() {  
  196.     return jobResult;  
  197.   }  
  198. }  

3.2在eclipse中设置参数：

/home/hadoop/rand/part-00000 /home/hadoop/rand-sort

其中/home/hadoop/rand/part-00000 表示输入路径，/home/hadoop/rand-sort表示输出路径

3.3数据来源

我们这里输入参数中的“/home/hadoop/rand/part-00000”是通过hadoop实例 RandomWriter 这个实例得到的。为了节省时间，hadoop实例 RandomWriter 中得到了两个文件，我们这里指使用了一个文件part-00000。如果要对两个文件都进行排序操作，那么输入路径只需要是目录即可。

4总结

本程序目前我测试只能在单机上执行，不能在集群上运行。即指可以run as ->java application，而不能run on hadoop，具体原因还没有找到，如果发现后续会更新本博客。

PS:2011-10-18

运行环境

1. run as java application

console中会输出信息

[cpp]  view plain copy print ?
  1. Running on 1 nodes to sort from hdfs://master:9000/home/hadoop/rand/part-00000 into hdfs://master:9000/home/hadoop/rand-sort with 1 reduces.  

2.一个master和一个slave，run on hadoop

console输出信息

[cpp]  view plain copy print ?
  1. Running on 1 nodes to sort from hdfs://master:9000/home/hadoop/rand/part-00000 into hdfs://master:9000/home/hadoop/rand-sort with 1 reduces.  
跟第一中情况一样。

3.一台主机即做master又做slave，另外一台单独做slave

console输出信息

[cpp]  view plain copy print ?
  1. 11/10/18 09:24:35 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively  
  2. Running on 2 nodes to sort from hdfs://master:9000/home/hadoop/rand/part-00000 into hdfs://master:9000/home/hadoop/rand-sort with 3 reduces.  
  3. Job started: Tue Oct 18 09:24:35 CST 2011  
  4. 11/10/18 09:24:35 INFO mapred.FileInputFormat: Total input paths to process : 1  
  5. 11/10/18 09:24:36 INFO mapred.JobClient: Running job: job_201110180923_0001  
  6. 11/10/18 09:24:37 INFO mapred.JobClient:  map 0% reduce 0%  
  7. 11/10/18 09:24:50 INFO mapred.JobClient:  map 6% reduce 0%  
  8. 11/10/18 09:24:51 INFO mapred.JobClient:  map 18% reduce 0%  
  9. 11/10/18 09:24:53 INFO mapred.JobClient:  map 25% reduce 0%  
  10. 11/10/18 09:24:56 INFO mapred.JobClient:  map 31% reduce 0%  
  11. 11/10/18 09:25:01 INFO mapred.JobClient:  map 43% reduce 0%  
  12. 11/10/18 09:25:02 INFO mapred.JobClient:  map 49% reduce 0%  
  13. 11/10/18 09:25:04 INFO mapred.JobClient:  map 50% reduce 2%  
  14. 11/10/18 09:25:08 INFO mapred.JobClient:  map 56% reduce 4%  
  15. 11/10/18 09:25:09 INFO mapred.JobClient:  map 62% reduce 6%  
  16. 11/10/18 09:25:11 INFO mapred.JobClient:  map 68% reduce 8%  
  17. 11/10/18 09:25:12 INFO mapred.JobClient:  map 75% reduce 8%  
  18. 11/10/18 09:25:14 INFO mapred.JobClient:  map 81% reduce 9%  
  19. 11/10/18 09:25:20 INFO mapred.JobClient:  map 87% reduce 9%  
  20. 11/10/18 09:25:23 INFO mapred.JobClient:  map 93% reduce 12%  
  21. 11/10/18 09:25:26 INFO mapred.JobClient:  map 93% reduce 13%  
  22. 11/10/18 09:25:27 INFO mapred.JobClient:  map 100% reduce 14%  
  23. 11/10/18 09:25:29 INFO mapred.JobClient:  map 100% reduce 15%  
  24. 11/10/18 09:25:35 INFO mapred.JobClient:  map 100% reduce 16%  
  25. 11/10/18 09:25:36 INFO mapred.JobClient:  map 100% reduce 17%  
  26. 11/10/18 09:27:49 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000000_0, Status : FAILED  
  27. Too many fetch-failures  
  28. 11/10/18 09:27:49 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  29. 11/10/18 09:27:49 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  30. 11/10/18 09:28:05 INFO mapred.JobClient:  map 100% reduce 18%  
  31. 11/10/18 09:32:51 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000003_0, Status : FAILED  
  32. Too many fetch-failures  
  33. 11/10/18 09:32:55 INFO mapred.JobClient:  map 93% reduce 18%  
  34. 11/10/18 09:32:58 INFO mapred.JobClient:  map 100% reduce 18%  
  35. 11/10/18 09:33:04 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000001_0, Status : FAILED  
  36. Too many fetch-failures  
  37. 11/10/18 09:33:04 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  38. 11/10/18 09:33:04 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  39. 11/10/18 09:33:11 INFO mapred.JobClient:  map 100% reduce 19%  
  40. 11/10/18 09:33:20 INFO mapred.JobClient:  map 100% reduce 20%  
  41. 11/10/18 09:38:19 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000005_0, Status : FAILED  
  42. Too many fetch-failures  
  43. 11/10/18 09:38:19 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  44. 11/10/18 09:38:19 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  45. 11/10/18 09:38:23 INFO mapred.JobClient:  map 93% reduce 20%  
  46. 11/10/18 09:38:26 INFO mapred.JobClient:  map 100% reduce 20%  
  47. 11/10/18 09:38:35 INFO mapred.JobClient:  map 100% reduce 21%  
  48. 11/10/18 09:38:41 INFO mapred.JobClient:  map 100% reduce 22%  
  49. 11/10/18 09:43:10 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000002_0, Status : FAILED  
  50. Too many fetch-failures  
  51. 11/10/18 09:43:14 INFO mapred.JobClient:  map 93% reduce 22%  
  52. 11/10/18 09:43:17 INFO mapred.JobClient:  map 100% reduce 22%  
  53. 11/10/18 09:43:35 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000006_0, Status : FAILED  
  54. Too many fetch-failures  
  55. 11/10/18 09:43:35 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  56. 11/10/18 09:43:35 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  57. 11/10/18 09:43:51 INFO mapred.JobClient:  map 100% reduce 24%  
  58. 11/10/18 09:48:50 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000009_0, Status : FAILED  
  59. Too many fetch-failures  
  60. 11/10/18 09:48:50 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  61. 11/10/18 09:48:50 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  62. 11/10/18 09:49:06 INFO mapred.JobClient:  map 100% reduce 25%  
  63. 11/10/18 09:53:21 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000004_0, Status : FAILED  
  64. Too many fetch-failures  
  65. 11/10/18 09:53:25 INFO mapred.JobClient:  map 93% reduce 25%  
  66. 11/10/18 09:53:28 INFO mapred.JobClient:  map 100% reduce 25%  
  67. 11/10/18 09:53:37 INFO mapred.JobClient:  map 100% reduce 26%  
  68. 11/10/18 09:54:05 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000011_0, Status : FAILED  
  69. Too many fetch-failures  
  70. 11/10/18 09:54:05 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  71. 11/10/18 09:54:05 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  72. 11/10/18 09:54:21 INFO mapred.JobClient:  map 100% reduce 27%  
  73. 11/10/18 09:59:20 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000015_0, Status : FAILED  
  74. Too many fetch-failures  
  75. 11/10/18 09:59:20 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  76. 11/10/18 09:59:20 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  77. 11/10/18 09:59:36 INFO mapred.JobClient:  map 100% reduce 52%  
  78. 11/10/18 09:59:42 INFO mapred.JobClient:  map 100% reduce 53%  
  79. 11/10/18 09:59:45 INFO mapred.JobClient:  map 100% reduce 54%  
  80. 11/10/18 09:59:48 INFO mapred.JobClient:  map 100% reduce 55%  
  81. 11/10/18 09:59:51 INFO mapred.JobClient:  map 100% reduce 56%  
  82. 11/10/18 09:59:54 INFO mapred.JobClient:  map 100% reduce 57%  
  83. 11/10/18 09:59:57 INFO mapred.JobClient:  map 100% reduce 58%  
  84. 11/10/18 10:00:00 INFO mapred.JobClient:  map 100% reduce 60%  
  85. 11/10/18 10:00:03 INFO mapred.JobClient:  map 100% reduce 61%  
  86. 11/10/18 10:00:06 INFO mapred.JobClient:  map 100% reduce 62%  
  87. 11/10/18 10:00:09 INFO mapred.JobClient:  map 100% reduce 63%  
  88. 11/10/18 10:00:12 INFO mapred.JobClient:  map 100% reduce 64%  
  89. 11/10/18 10:00:15 INFO mapred.JobClient:  map 100% reduce 65%  
  90. 11/10/18 10:00:18 INFO mapred.JobClient:  map 100% reduce 66%  
  91. 11/10/18 10:00:21 INFO mapred.JobClient:  map 100% reduce 67%  
  92. 11/10/18 10:00:24 INFO mapred.JobClient:  map 100% reduce 68%  
  93. 11/10/18 10:00:27 INFO mapred.JobClient:  map 100% reduce 69%  
  94. 11/10/18 10:00:30 INFO mapred.JobClient:  map 100% reduce 70%  
  95. 11/10/18 10:00:33 INFO mapred.JobClient:  map 100% reduce 71%  
  96. 11/10/18 10:00:36 INFO mapred.JobClient:  map 100% reduce 72%  
  97. 11/10/18 10:00:39 INFO mapred.JobClient:  map 100% reduce 73%  
  98. 11/10/18 10:00:52 INFO mapred.JobClient:  map 100% reduce 75%  
  99. 11/10/18 10:03:41 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000007_0, Status : FAILED  
  100. Too many fetch-failures  
  101. 11/10/18 10:03:45 INFO mapred.JobClient:  map 93% reduce 75%  
  102. 11/10/18 10:03:48 INFO mapred.JobClient:  map 100% reduce 75%  
  103. 11/10/18 10:08:34 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000003_1, Status : FAILED  
  104. Too many fetch-failures  
  105. 11/10/18 10:08:34 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  106. 11/10/18 10:08:34 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  107. 11/10/18 10:08:50 INFO mapred.JobClient:  map 100% reduce 76%  
  108. 11/10/18 10:13:53 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000008_0, Status : FAILED  
  109. Too many fetch-failures  
  110. 11/10/18 10:13:57 INFO mapred.JobClient:  map 93% reduce 76%  
  111. 11/10/18 10:14:00 INFO mapred.JobClient:  map 100% reduce 76%  
  112. 11/10/18 10:18:49 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000002_1, Status : FAILED  
  113. Too many fetch-failures  
  114. 11/10/18 10:18:49 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  115. 11/10/18 10:18:49 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  116. 11/10/18 10:19:05 INFO mapred.JobClient:  map 100% reduce 77%  
  117. 11/10/18 10:24:09 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000010_0, Status : FAILED  
  118. Too many fetch-failures  
  119. 11/10/18 10:24:13 INFO mapred.JobClient:  map 93% reduce 77%  
  120. 11/10/18 10:24:16 INFO mapred.JobClient:  map 100% reduce 77%  
  121. 11/10/18 10:29:04 INFO mapred.JobClient: Task Id : attempt_201110180923_0001_m_000004_1, Status : FAILED  
  122. Too many fetch-failures  
  123. 11/10/18 10:29:04 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  124. 11/10/18 10:29:04 WARN mapred.JobClient: Error reading task outputxuwei-laptop  
  125. 11/10/18 10:29:20 INFO mapred.JobClient:  map 100% reduce 89%  
  126. 11/10/18 10:29:23 INFO mapred.JobClient:  map 100% reduce 91%  
  127. 11/10/18 10:29:26 INFO mapred.JobClient:  map 100% reduce 92%  
  128. 11/10/18 10:29:29 INFO mapred.JobClient:  map 100% reduce 93%  
  129. 11/10/18 10:29:32 INFO mapred.JobClient:  map 100% reduce 94%  
  130. 11/10/18 10:29:35 INFO mapred.JobClient:  map 100% reduce 95%  
  131. 11/10/18 10:29:38 INFO mapred.JobClient:  map 100% reduce 96%  
  132. 11/10/18 10:29:41 INFO mapred.JobClient:  map 100% reduce 97%  
  133. 11/10/18 10:29:44 INFO mapred.JobClient:  map 100% reduce 98%  
  134. 11/10/18 10:29:50 INFO mapred.JobClient:  map 100% reduce 100%  
  135. 11/10/18 10:29:52 INFO mapred.JobClient: Job complete: job_201110180923_0001  
  136. 11/10/18 10:29:52 INFO mapred.JobClient: Counters: 18  
  137. 11/10/18 10:29:52 INFO mapred.JobClient:   Job Counters   
  138. 11/10/18 10:29:52 INFO mapred.JobClient:     Launched reduce tasks=4  
  139. 11/10/18 10:29:52 INFO mapred.JobClient:     Launched map tasks=32  
  140. 11/10/18 10:29:52 INFO mapred.JobClient:     Data-local map tasks=32  
  141. 11/10/18 10:29:52 INFO mapred.JobClient:   FileSystemCounters  
  142. 11/10/18 10:29:52 INFO mapred.JobClient:     FILE_BYTES_READ=1075141899  
  143. 11/10/18 10:29:52 INFO mapred.JobClient:     HDFS_BYTES_READ=1077495458  
  144. 11/10/18 10:29:52 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=2150285276  
  145. 11/10/18 10:29:52 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=1077290017  
  146. 11/10/18 10:29:52 INFO mapred.JobClient:   Map-Reduce Framework  
  147. 11/10/18 10:29:52 INFO mapred.JobClient:     Reduce input groups=102334  
  148. 11/10/18 10:29:52 INFO mapred.JobClient:     Combine output records=0  
  149. 11/10/18 10:29:52 INFO mapred.JobClient:     Map input records=102334  
  150. 11/10/18 10:29:52 INFO mapred.JobClient:     Reduce shuffle bytes=1031027235  
  151. 11/10/18 10:29:52 INFO mapred.JobClient:     Reduce output records=102334  
  152. 11/10/18 10:29:52 INFO mapred.JobClient:     Spilled Records=204668  
  153. 11/10/18 10:29:52 INFO mapred.JobClient:     Map output bytes=1074566657  
  154. 11/10/18 10:29:52 INFO mapred.JobClient:     Map input bytes=1077289249  
  155. 11/10/18 10:29:52 INFO mapred.JobClient:     Combine input records=0  
  156. 11/10/18 10:29:52 INFO mapred.JobClient:     Map output records=102334  
  157. 11/10/18 10:29:52 INFO mapred.JobClient:     Reduce input records=102334  
  158. Job ended: Tue Oct 18 10:29:52 CST 2011  
  159. The job took 3916 seconds.  
本文转自xwdreamer博客园博客，原文链接：http://www.cnblogs.com/xwdreamer/archive/2011/10/17/2296956.html，如需转载请自行联系原作者
文章标签：
分布式计算
Hadoop
Apache
C++
Java
关键词：
hadoop实例
hadoop sort
嗯哼9925
目录
相关文章
yuanzhengme
|
8月前
|
分布式计算 Hadoop 测试技术
Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
【4月更文挑战第1天】Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
yuanzhengme
208 3
小竹笋
|
7月前
|
分布式计算 资源调度 Java
Scala+Spark+Hadoop+IDEA实现WordCount单词计数，上传并执行任务（简单实例-下）
Scala+Spark+Hadoop+IDEA实现WordCount单词计数，上传并执行任务（简单实例-下）
小竹笋
85 0
小竹笋
|
7月前
|
分布式计算 Hadoop Scala
Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数（简单实例-上）
Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数（简单实例-上）
小竹笋
64 0
我想问问天
|
分布式计算 Hadoop Java
hadoop第一个运行实例wordcount
hadoop第一个运行实例wordcount
我想问问天
165 0
代码的天敌是懒惰
|
分布式计算 Hadoop Java
Hadoop获取 FileSystem 实例
Hadoop获取 FileSystem 实例
代码的天敌是懒惰
359 0
嗯哼9925
|
分布式计算 Apache
hadoop实例 RandomWriter
嗯哼9925
909 0
嗯哼9925
|
分布式计算 Apache
hadoop实例 RandomWriter
嗯哼9925
1471 0
嗯哼9925
|
分布式计算 Hadoop
Hadoop示例程序WordCount详解及实例
嗯哼9925
1412 0
walb呀
|
Web App开发 分布式计算 前端开发
hadoop之mapreduce实例
walb呀
1012 0
最美的回忆
|
分布式计算 关系型数据库 MySQL
mysql数据与Hadoop之间导入导出之Sqoop实例
最美的回忆
2079 0

热门文章

最新文章

  • 1
    hadoop安装小记
  • 2
    基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
  • 3
    Hadoop2.6.0运行mapreduce之推断（speculative）执行（下）
  • 4
    hadoop环境初始化搭建
  • 5
    【大数据】Linux下安装Hadoop(2.7.1)详解及WordCount运行
  • 6
    简单的hadoop启动脚本
  • 7
    安装hadoop集群(Multi Cluster)
  • 8
    Hadoop大象之旅009-通过Shell操作hdfs
  • 9
    解决Eclipse中运行WordCount出现 java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper问题
  • 10
    基于Ubuntu Hadoop的群集搭建Hive
  • 1
    【分布式计算框架】Hadoop伪分布式安装
    107
  • 2
    Hadoop配置复杂性
    54
  • 3
    Hadoop生态系统集成问题
    68
  • 4
    Hadoop权限问题
    142
  • 5
    Hadoop安全性问题
    149
  • 6
    安装hadoop学习笔记
    75
  • 7
    Hadoop的HDFS问题
    94
  • 8
    Hadoop防火墙问题
    117
  • 9
    Hadoop配置
    84
  • 10
    Hadoop网络问题
    182

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    DataWorks智能交互式数据开发与分析之旅