WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-ja-阿里云开发者社区

开发者社区> 开发与运维> 正文
登录阅读全文

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-ja

简介: <div class="article_title" style="margin:5px 0px; font-size:20px; line-height:30px; font-family:'Microsoft YaHei'"> <h1 style="font-size:20px; font-weight:normal; margin:0px; padding:0px; display

hadoop本地库与系统版本不一致引起的错误解决方法 

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-ja


一、运行环境:

ubuntu-12.04 eclipse-4.2 hadoop-1.1.1

二、问题

在eclipse中执行wordcount例子出现如下问题,而在终端执行没有:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

三、解决方案:

分析:因为在终端执行时没有出现上述警告,说明hadoop原生库是存在的,并且和系统库是兼容的;在eclipse中出现这样的警告,说明eclipse中找不到这样的原生库,只需要添加到JVM参数即可。

run configuration,添加jvm参数:

-Djava.library.path=/opt/hadoop-1.1.1/lib/native/Linux-amd64-64

hadoop本地库与系统版本不一致引起的错误解决方法

分类: hadoop+hive+hbase 10443人阅读 评论(5) 收藏 举报

部署hadoop的集群环境为  

操作系统 centos 5.8    

hadoop版本为cloudera   hadoop-0.20.2-cdh3u3

集群中设置支持gzip lzo压缩后,在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库,本地库的默认位置在

$HADOOP_HOME/lib/native/Linux-amd64-64   (64位操作系统)

$HADOOP_HOME/lib/native/Linux-i386-32   (32位操作系统)

文件夹中的libhadoop.so文件,就是hadoop的本地库。

如果本地库不存在,或者本地库与当前操作系统的版本不一致的时候,会报下面的错误:

11/09/20 17:29:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

增加调试信息设置

$ export HADOOP_ROOT_LOGGER=DEBUG,console

$ hadoop fs -text /test/data/origz/access.log.gz

2012-04-24 15:55:43,269 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

error libhadoop.so  /lib64/libc.so.6 required (libc 2.6)    /usr/local/hadoop/lib/native/Linux-amd64-64  

说明系统中的glibc的版本和libhadoop.so需要的版本不一致导致

查看系统的libc版本  

# ll /lib64/libc.so.6

lrwxrwxrwx 1 root root 11 Apr 24 16:49 /lib64/libc.so.6 -> libc-2.5.so

系统中的版本为2.5

将系统中的glibc升级为2.9

下载glibc
wget  http://ftp.gnu.org/gnu/glibc/glibc-2.9.tar.bz2

下载glibc-linuxthreads
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2

解压
$tar -jxvf glibc-2.9.tar.bz2
$cd glibc-2.9
$tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
$cd ..
$export CFLAGS="-g -O2"
$./glibc-2.9/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
$make
#make install

安装编译过程中需要注意三点:
1、要将glibc-linuxthreads解压到glibc目录下。
2、不能在glibc当前目录下运行configure。
3、加上优化开关,export CFLAGS="-g -O2",否则会出现错误


安装完后,可以查看ls -l /lib/libc.so.6已升级

lrwxrwxrwx 1 root root 11 Apr 24 16:49 /lib64/libc.so.6 -> libc-2.9.so

测试本地库是否升级

$ export HADOOP_ROOT_LOGGER=DEBUG,console

$ hadoop fs -text /test/data/origz/access.log.gz

12/04/25 08:54:47 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev 6bb1b7f8b9044d8df9b4d2b6641db7658aab3cf8]
12/04/25 08:54:47 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
12/04/25 08:54:47 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/04/25 08:54:47 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library

12/04/25 08:54:47 DEBUG fs.FSInputChecker: DFSClient readChunk got seqno 0 offsetInBlock 0 lastPacketInBlock false packetLen 132100

可以看到将glibc升级后不再报错,已经成功加载本地库

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章
最新文章
相关文章