开发者社区> 科技小能手> 正文

eclipse使用hadoop插件出现java.lang.OutOfMemoryError: Java heap space

简介:
+关注继续查看
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
14/09/20 22:41:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/09/20 22:41:13 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
14/09/20 22:41:13 INFO input.FileInputFormat: Total input paths to process : 2
14/09/20 22:41:14 WARN snappy.LoadSnappy: Snappy native library not loaded
14/09/20 22:41:14 INFO mapred.JobClient: Running job: job_local911496586_0001
14/09/20 22:41:14 INFO mapred.LocalJobRunner: Waiting for map tasks
14/09/20 22:41:14 INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000000_0
14/09/20 22:41:14 INFO mapred.Task:  Using ResourceCalculatorPlugin : null
14/09/20 22:41:14 INFO mapred.MapTask: Processing split: hdfs://192.168.1.112:9000/txt/yw/mic.php:0+338124
14/09/20 22:41:14 INFO mapred.MapTask: io.sort.mb = 100
14/09/20 22:41:14 INFO mapred.LocalJobRunner: Starting task: attempt_local911496586_0001_m_000001_0
14/09/20 22:41:14 INFO mapred.Task:  Using ResourceCalculatorPlugin : null
14/09/20 22:41:14 INFO mapred.MapTask: Processing split: hdfs://192.168.1.112:9000/txt/yw/pip.txt:0+96393
14/09/20 22:41:14 INFO mapred.MapTask: io.sort.mb = 100
14/09/20 22:41:14 INFO mapred.LocalJobRunner: Map task executor complete.
14/09/20 22:41:14 WARN mapred.LocalJobRunner: job_local911496586_0001
java.lang.Exception: java.lang.OutOfMemoryError: Java heap space
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:354)
Caused by: java.lang.OutOfMemoryError: Java heap space
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:954)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:673)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
    at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:223)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
    at java.util.concurrent.FutureTask.run(FutureTask.java:138)
    at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
    at java.lang.Thread.run(Thread.java:619)
14/09/20 22:41:15 INFO mapred.JobClient:  map 0% reduce 0%
14/09/20 22:41:15 INFO mapred.JobClient: Job complete: job_local911496586_0001
14/09/20 22:41:15 INFO mapred.JobClient: Counters: 0

解决:

wKioL1QdkrCxHMpHAANv0soBJb0842.jpg


本文转自 梦朝思夕 51CTO博客,原文链接:http://blog.51cto.com/qiangmzsx/1556392


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Hadoop学习(二) 配置Hadoop的Eclipse的编程环境
测试Java连接hadoop 编程实现读取一个分布式文件。
112 0
Hadoop集群搭建记录 | 云计算[CentOS7] | Eclipse安装并创建第一个项目
因为课程需要,我们要进行Eclipse的安装操作 eclipse需要是CentOS下的,网址在:传送门
56 0
hadoop搭建之hadoop连接eclipse
在进行本文操作之前,确定已经安装好了jdk,eclipse,hadoop,所有环境都配置好了
2484 0
eclipse配置连接Hadoop
1. eclipse配置连接hadoop 将hadoop的plugins包,拷贝到eclipse的plugins目录下。
825 0
+关注
科技小能手
文章
问答
视频
文章排行榜
最热
最新
相关课程
更多
相关电子书
更多
CIO 指南:如何在SAP软件架构中使用Hadoop
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
相关实验场景
更多
相关镜像