eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space

简介:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
14 / 09 / 20  22 : 41 : 13  WARN util.NativeCodeLoader: Unable to load  native -hadoop library  for  your platform... using builtin-java classes where applicable
14 / 09 / 20  22 : 41 : 13  WARN mapred.JobClient: Use GenericOptionsParser  for  parsing the arguments. Applications should implement Tool  for  the same.
14 / 09 / 20  22 : 41 : 13  INFO input.FileInputFormat: Total input paths to process :  2
14 / 09 / 20  22 : 41 : 14  WARN snappy.LoadSnappy: Snappy  native  library not loaded
14 / 09 / 20  22 : 41 : 14  INFO mapred.JobClient: Running job: job_local911496586_0001
14 / 09 / 20  22 : 41 : 14  INFO mapred.LocalJobRunner: Waiting  for  map tasks
14 / 09 / 20  22 : 41 : 14  INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000000_0
14 / 09 / 20  22 : 41 : 14  INFO mapred.Task:  Using ResourceCalculatorPlugin :  null
14 / 09 / 20  22 : 41 : 14  INFO mapred.MapTask: Processing split: hdfs: //192.168.1.112:9000/txt/yw/mic.php:0+338124
14 / 09 / 20  22 : 41 : 14  INFO mapred.MapTask: io.sort.mb =  100
14 / 09 / 20  22 : 41 : 14  INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000001_0
14 / 09 / 20  22 : 41 : 14  INFO mapred.Task:  Using ResourceCalculatorPlugin :  null
14 / 09 / 20  22 : 41 : 14  INFO mapred.MapTask: Processing split: hdfs: //192.168.1.112:9000/txt/yw/pip.txt:0+96393
14 / 09 / 20  22 : 41 : 14  INFO mapred.MapTask: io.sort.mb =  100
14 / 09 / 20  22 : 41 : 14  INFO mapred.LocalJobRunner: Map task executor complete.
14 / 09 / 20  22 : 41 : 14  WARN mapred.LocalJobRunner: job_local911496586_0001
java.lang.Exception: java.lang.OutOfMemoryError: Java heap space
     at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java: 354 )
Caused by: java.lang.OutOfMemoryError: Java heap space
     at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java: 954 )
     at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java: 673 )
     at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java: 756 )
     at org.apache.hadoop.mapred.MapTask.run(MapTask.java: 364 )
     at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java: 223 )
     at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java: 441 )
     at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java: 303 )
     at java.util.concurrent.FutureTask.run(FutureTask.java: 138 )
     at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java: 886 )
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java: 908 )
     at java.lang.Thread.run(Thread.java: 619 )
14 / 09 / 20  22 : 41 : 15  INFO mapred.JobClient:  map  0 % reduce  0 %
14 / 09 / 20  22 : 41 : 15  INFO mapred.JobClient: Job complete: job_local911496586_0001
14 / 09 / 20  22 : 41 : 15  INFO mapred.JobClient: Counters:  0

解决:

wKioL1QdkrCxHMpHAANv0soBJb0842.jpg


本文转自 梦朝思夕 51CTO博客,原文链接:http://blog.51cto.com/qiangmzsx/1556392


相关文章
|
9天前
|
Java Maven Android开发
在Eclipse里配置Maven插件
Maven是一款比较常用的Java开发拓展包,它相当于一个全自动jar包管理器,会导入用户开发时需要使用的相应jar包。使用Maven开发Java程序,可以极大提升开发者的开发效率。下面我就跟大家介绍一下如何在Eclipse里安装和配置Maven插件。
57 0
|
7天前
|
XML 监控 Dubbo
Dubbo03【管理控制台和监控中心搭建】,Java开发实用必备的几款插件
Dubbo03【管理控制台和监控中心搭建】,Java开发实用必备的几款插件
|
9天前
|
Java Spring
Java 效率编码 必备插件 Lombok 让代码更优雅
该内容是一个关于Lombok插件的教程摘要:介绍了Lombok用于减少Java开发中的模板代码,提升效率;讲解了如何在IntelliJ IDEA中安装Lombok插件,以及在pom.xml中添加依赖;并提到了@Data注解能自动生成getter/setter、equals、hashCode和toString方法,@Slf4j注解自动处理日志,@Builder用于构建对象,以及@AllArgsConstructor和@NoArgsConstructor注解生成构造函数。还鼓励探索更多Lombok的注解用法。
|
9天前
|
XML Java Maven
eclipse 、idea 安装activiti插件
eclipse 、idea 安装activiti插件
|
9天前
|
Java 应用服务中间件 Linux
终于有人把怎么在IDEA中使用Java热部署插件JRebel讲清楚了...
终于有人把怎么在IDEA中使用Java热部署插件JRebel讲清楚了...
108 0
|
9天前
|
Java 关系型数据库 应用服务中间件
JAVA Web项目开发eclipse工具包配置(第一天)
JAVA Web项目开发eclipse工具包配置(第一天)
|
9天前
|
XML 监控 druid
【Java专题_02】springboot+mybatis+pagehelper分页插件+druid数据源详细教程
【Java专题_02】springboot+mybatis+pagehelper分页插件+druid数据源详细教程
64 0
|
9天前
|
XML Java Android开发
Java学习—Eclipse/Idea如何设置自动提示
Java学习—Eclipse/Idea如何设置自动提示
|
9天前
|
Java Android开发
用eclipse中打开Java项目
用eclipse中打开Java项目
43 1
|
9天前
|
Java Android开发
如何用eclipse中打开已存在的Java项目
如何用eclipse中打开已存在的Java项目
42 0

推荐镜像

更多