相关软件版本:
jdk-6u32-linux-x64.bin
tar xzvf hadoop-1.0.2.tar.gz
tar xzvf hbase-0.92.1-security.tar.gz
jdk-6u32-linux-x64.bin
注:目前已经有更高版本,建议使用高版本的hadoop和hbase。
环境:suse10 64位机器
单机版参考: HDFS+MapReduce+Hive+HBase十分钟快速入门
步骤
0. 设置集群机器的hostname;
1. 建立hadoop用户,如hadoop;
2. 配置ssh(简单办法:先在单机上生成ssh key pair文件,将授权文件拷贝到相应的机器上)
3. 安装java、hadoop、hbase。
4. 配置hadoop:core-site.xml 、core-site.xml 、mapred-site.xml 、taskcontroller.cfg、master、slavers、hadoop-env.sh、/etc/hosts、
环境变量(/etc/profile):
# hadoop env
export JAVA_HOME=/usr/share/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_CONF=/home/oicq/hadoop/conf
HADOOP_HOME=/home/oicq/hadoop/hadoop
enxport PATH=$PATH:/usr/share/java/bin:/home/oicq/hadoop/hadoop/bin:/home/oicq/hadoop/hbase/bin
5. 安装snappy:
#! /bin/bash tar xzvf snappy-1.0.5.tar.gz cd snappy-1.0.5 ./configure make make install cp .libs/libsnappy.* ../hadoop/lib/native/Linux-amd64-64/
6. 编译本地库(因原始安装包不支持suse,才需要)
切换到./hadoop/src/native目录, 执行下面脚本:
#! /bin/bash export JAVA_HOME=/usr/share/java export HADOOP_NATIVE_SRCDIR=/home/oicq/hadoop/hadoop/src/native export JVM_DATA_MODEL=64 export OS_NAME=Linux export OS_ARCH=amd64 chmod 755 configure ./configure CFLAGS="-DHADOOP_SNAPPY_LIBRARY" touch src/org/apache/hadoop/io/compress/snappy/org_apache_hadoop_io_compress_snappy_SnappyCompressor.h touch src/org/apache/hadoop/io/compress/snappy/org_apache_hadoop_io_compress_snappy_SnappyDecompressor.h touch src/org/apache/hadoop/io/compress/zlib/org_apache_hadoop_io_compress_zlib_ZlibCompressor.h touch src/org/apache/hadoop/io/compress/zlib/org_apache_hadoop_io_compress_zlib_ZlibDecompressor.h touch src/org/apache/hadoop/security/org_apache_hadoop_security_JniBasedUnixGroupsMapping.h touch src/org/apache/hadoop/security/org_apache_hadoop_security_JniBasedUnixGroupsNetgroupMapping.h touch src/org/apache/hadoop/security/org_apache_hadoop_io_nativeio_NativeIO.h make clean make cp ./.libs/libhadoop.* http://www.cnblogs.com/lib/native/Linux-amd64-64/
注:hadoop从0.92开始已包含snappy的集成接口,但默认编译本地库时并不打开,需要明确指定才行。
./configure CFLAGS="-DHADOOP_SNAPPY_LIBRARY" 至关重要。
7.配置hbase:hbase-env.sh、hbase-site.xml、regionservers;
8. (可选)启用hadoop-metrics.properties、hadoop-metrics.properties
上述步骤是在1)无法在线安装;2)非hadoop支持系统; 情况下采用的本地编译安装方式。
参考
更多信息搜索:site:http://hadoop.apache.org/common/docs
本文转自 zhenjing 博客园博客,原文链接:http://www.cnblogs.com/zhenjing/archive/2012/07/25/hbase_install.html ,如需转载请自行联系原作者