eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space-阿里云开发者社区

eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space

2017-11-12 1241

简介：

+关注继续查看

14/09/20 22:41:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

14/09/20 22:41:13 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

14/09/20 22:41:13 INFO input.FileInputFormat: Total input paths to process : 2

14/09/20 22:41:14 WARN snappy.LoadSnappy: Snappy native library not loaded

14/09/20 22:41:14 INFO mapred.JobClient: Running job: job_local911496586_0001

14/09/20 22:41:14 INFO mapred.LocalJobRunner: Waiting for map tasks

14/09/20 22:41:14 INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000000_0

14/09/20 22:41:14 INFO mapred.Task:  Using ResourceCalculatorPlugin : null

14/09/20 22:41:14 INFO mapred.MapTask: Processing split: hdfs://192.168.1.112:9000/txt/yw/mic.php:0+338124

14/09/20 22:41:14 INFO mapred.MapTask: io.sort.mb = 100

14/09/20 22:41:14 INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000001_0

14/09/20 22:41:14 INFO mapred.Task:  Using ResourceCalculatorPlugin : null

14/09/20 22:41:14 INFO mapred.MapTask: Processing split: hdfs://192.168.1.112:9000/txt/yw/pip.txt:0+96393

14/09/20 22:41:14 INFO mapred.MapTask: io.sort.mb = 100

14/09/20 22:41:14 INFO mapred.LocalJobRunner: Map task executor complete.

14/09/20 22:41:14 WARN mapred.LocalJobRunner: job_local911496586_0001
java.lang.Exception: java.lang.OutOfMemoryError: Java heap space

    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:354)
Caused by: java.lang.OutOfMemoryError: Java heap space

    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:954)

    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:673)

    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)

    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)

    at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:223)

    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)

    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)

    at java.util.concurrent.FutureTask.run(FutureTask.java:138)

    at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)

    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)

    at java.lang.Thread.run(Thread.java:619)

14/09/20 22:41:15 INFO mapred.JobClient:  map 0% reduce 0%

14/09/20 22:41:15 INFO mapred.JobClient: Job complete: job_local911496586_0001

14/09/20 22:41:15 INFO mapred.JobClient: Counters: 0

解决：

本文转自梦朝思夕 51CTO博客，原文链接:http://blog.51cto.com/qiangmzsx/1556392