开发者社区> 白及88> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-ja

简介: <div class="article_title" style="margin:5px 0px; font-size:20px; line-height:30px; font-family:'Microsoft YaHei'"> <h1 style="font-size:20px; font-weight:normal; margin:0px; padding:0px; display
+关注继续查看

hadoop本地库与系统版本不一致引起的错误解决方法 

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-ja


一、运行环境:

ubuntu-12.04 eclipse-4.2 hadoop-1.1.1

二、问题

在eclipse中执行wordcount例子出现如下问题,而在终端执行没有:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

三、解决方案:

分析:因为在终端执行时没有出现上述警告,说明hadoop原生库是存在的,并且和系统库是兼容的;在eclipse中出现这样的警告,说明eclipse中找不到这样的原生库,只需要添加到JVM参数即可。

run configuration,添加jvm参数:

-Djava.library.path=/opt/hadoop-1.1.1/lib/native/Linux-amd64-64

hadoop本地库与系统版本不一致引起的错误解决方法

分类: hadoop+hive+hbase 10443人阅读 评论(5) 收藏 举报

部署hadoop的集群环境为  

操作系统 centos 5.8    

hadoop版本为cloudera   hadoop-0.20.2-cdh3u3

集群中设置支持gzip lzo压缩后,在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库,本地库的默认位置在

$HADOOP_HOME/lib/native/Linux-amd64-64   (64位操作系统)

$HADOOP_HOME/lib/native/Linux-i386-32   (32位操作系统)

文件夹中的libhadoop.so文件,就是hadoop的本地库。

如果本地库不存在,或者本地库与当前操作系统的版本不一致的时候,会报下面的错误:

11/09/20 17:29:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

增加调试信息设置

$ export HADOOP_ROOT_LOGGER=DEBUG,console

$ hadoop fs -text /test/data/origz/access.log.gz

2012-04-24 15:55:43,269 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

error libhadoop.so  /lib64/libc.so.6 required (libc 2.6)    /usr/local/hadoop/lib/native/Linux-amd64-64  

说明系统中的glibc的版本和libhadoop.so需要的版本不一致导致

查看系统的libc版本  

# ll /lib64/libc.so.6

lrwxrwxrwx 1 root root 11 Apr 24 16:49 /lib64/libc.so.6 -> libc-2.5.so

系统中的版本为2.5

将系统中的glibc升级为2.9

下载glibc
wget  http://ftp.gnu.org/gnu/glibc/glibc-2.9.tar.bz2

下载glibc-linuxthreads
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2

解压
$tar -jxvf glibc-2.9.tar.bz2
$cd glibc-2.9
$tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
$cd ..
$export CFLAGS="-g -O2"
$./glibc-2.9/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
$make
#make install

安装编译过程中需要注意三点:
1、要将glibc-linuxthreads解压到glibc目录下。
2、不能在glibc当前目录下运行configure。
3、加上优化开关,export CFLAGS="-g -O2",否则会出现错误


安装完后,可以查看ls -l /lib/libc.so.6已升级

lrwxrwxrwx 1 root root 11 Apr 24 16:49 /lib64/libc.so.6 -> libc-2.9.so

测试本地库是否升级

$ export HADOOP_ROOT_LOGGER=DEBUG,console

$ hadoop fs -text /test/data/origz/access.log.gz

12/04/25 08:54:47 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev 6bb1b7f8b9044d8df9b4d2b6641db7658aab3cf8]
12/04/25 08:54:47 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
12/04/25 08:54:47 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/04/25 08:54:47 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library

12/04/25 08:54:47 DEBUG fs.FSInputChecker: DFSClient readChunk got seqno 0 offsetInBlock 0 lastPacketInBlock false packetLen 132100

可以看到将glibc升级后不再报错,已经成功加载本地库

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
java.lang.UnsatisfiedLinkError: Library not loaded: @rpath/libo.dylib Reason: image not found
java.lang.UnsatisfiedLinkError: Library not loaded: @rpath/libo.dylib Reason: image not found
0 0
17/11/24 05:08:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2017-11-24 21:20:25 1:什么叫失望,什么叫绝望。总之是一脸懵逼的继续...... 之前部署的hadoop都是hadoop-2.4.1.tar.gz,这几天换成了hadoop-2.6.4.tar.gz,部署老生常谈,启动就不一样了,本来吧,也就是warn,不是error,启动hdfs和yarn,节点都可以正常启动,但是对于我这种强迫症,能容忍下面这一大推错误吗?当你看到这篇的时候,显然是不能,虽然网上已经有很多了,但是貌似好多还是不好使。
2255 0
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo
安装 hadoop 2.4.1 报错信息 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform.
1254 0
Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
以前hadoop也有这个问题,没注意,用spark也提示,解决一下。 首先找到对应自己hadoop版本的的lib包,编译好后,名字类似hadoop-native-64-2.4.1.tar ,放到lib下的覆盖native。
923 0
警告 “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”
http://blog.csdn.net/sagaryu/article/details/52137989 我的是2.6.4,用上面链接提供的编译好的资源覆盖原来的就好了。 不管也没事。 就是因为系统位数问题。
574 0
部署Hadoop2.x,出现Warn:Unable to load native-hadoop library
在安装部署的时候,遇到了问题 Unable to load native-hadoop library 原因1:64位linux使用了32位的hadoop native本地库[root@hadoop-001hadoop-2.
749 0
FAILED: Hive Internal Error: java.lang.RuntimeException(Error while making MR scratch directory异常的解决
<div style="color:rgb(51,51,51); font-family:Arial; font-size:14px; line-height:26px"> hive&gt; select * from dummy;</div> <div style="color:rgb(51,51,51); font-family:Arial; font-size:14px; lin
1284 0
+关注
白及88
白及
文章
问答
文章排行榜
最热
最新
相关电子书
更多
dellemc-streaming_data_platform_final_compressed
立即下载
Debugging PySpark Or why is there a JVM stack trace and what does it mean?
立即下载
Monitoring the Dynamic Resource Usage of Scala and Python Spark Jobs in Yarn
立即下载