hbase系统搭建

简介:

相关软件版本:

jdk-6u32-linux-x64.bin

tar xzvf hadoop-1.0.2.tar.gz

tar xzvf hbase-0.92.1-security.tar.gz

jdk-6u32-linux-x64.bin

注:目前已经有更高版本,建议使用高版本的hadoop和hbase。

环境:suse10  64位机器

单机版参考: HDFS+MapReduce+Hive+HBase十分钟快速入门 

 

步骤

0. 设置集群机器的hostname;

1. 建立hadoop用户,如hadoop;

2. 配置ssh(简单办法:先在单机上生成ssh key pair文件,将授权文件拷贝到相应的机器上)

3. 安装java、hadoop、hbase。

4. 配置hadoop:core-site.xml 、core-site.xml 、mapred-site.xml 、taskcontroller.cfg、master、slavers、hadoop-env.sh、/etc/hosts、

环境变量(/etc/profile): 

# hadoop env
export JAVA_HOME=/usr/share/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_CONF=/home/oicq/hadoop/conf

HADOOP_HOME=/home/oicq/hadoop/hadoop
enxport PATH=$PATH:/usr/share/java/bin:/home/oicq/hadoop/hadoop/bin:/home/oicq/hadoop/hbase/bin

5. 安装snappy:

复制代码
#! /bin/bash

tar xzvf snappy-1.0.5.tar.gz

cd snappy-1.0.5

./configure

make

make install

cp .libs/libsnappy.*  ../hadoop/lib/native/Linux-amd64-64/
复制代码

6. 编译本地库(因原始安装包不支持suse,才需要)

切换到./hadoop/src/native目录, 执行下面脚本:

复制代码
#! /bin/bash

export JAVA_HOME=/usr/share/java

export HADOOP_NATIVE_SRCDIR=/home/oicq/hadoop/hadoop/src/native

export JVM_DATA_MODEL=64

export OS_NAME=Linux

export OS_ARCH=amd64

chmod 755 configure

./configure  CFLAGS="-DHADOOP_SNAPPY_LIBRARY"

touch src/org/apache/hadoop/io/compress/snappy/org_apache_hadoop_io_compress_snappy_SnappyCompressor.h

touch src/org/apache/hadoop/io/compress/snappy/org_apache_hadoop_io_compress_snappy_SnappyDecompressor.h

touch src/org/apache/hadoop/io/compress/zlib/org_apache_hadoop_io_compress_zlib_ZlibCompressor.h

touch src/org/apache/hadoop/io/compress/zlib/org_apache_hadoop_io_compress_zlib_ZlibDecompressor.h

touch src/org/apache/hadoop/security/org_apache_hadoop_security_JniBasedUnixGroupsMapping.h

touch src/org/apache/hadoop/security/org_apache_hadoop_security_JniBasedUnixGroupsNetgroupMapping.h

touch src/org/apache/hadoop/security/org_apache_hadoop_io_nativeio_NativeIO.h

make clean

make

cp ./.libs/libhadoop.*  http://www.cnblogs.com/lib/native/Linux-amd64-64/
复制代码

注:hadoop从0.92开始已包含snappy的集成接口,但默认编译本地库时并不打开,需要明确指定才行。

./configure  CFLAGS="-DHADOOP_SNAPPY_LIBRARY" 至关重要。

7.配置hbase:hbase-env.sh、hbase-site.xml、regionservers;

8. (可选)启用hadoop-metrics.properties、hadoop-metrics.properties

 

上述步骤是在1)无法在线安装;2)非hadoop支持系统; 情况下采用的本地编译安装方式。

参考

Cluster Setup

Native Libraries Guide

更多信息搜索:site:http://hadoop.apache.org/common/docs



本文转自 zhenjing 博客园博客,原文链接:http://www.cnblogs.com/zhenjing/archive/2012/07/25/hbase_install.html   ,如需转载请自行联系原作者

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
6月前
|
消息中间件 Java 关系型数据库
【Spring Boot+Kafka+Mysql+HBase】实现分布式优惠券后台应用系统(附源码)
【Spring Boot+Kafka+Mysql+HBase】实现分布式优惠券后台应用系统(附源码)
284 2
|
存储 前端开发 Cloud Native
基于 HBase 快速构架海量订单存储系统|学习笔记
快速学习基于 HBase 快速构架海量订单存储系统
基于 HBase 快速构架海量订单存储系统|学习笔记
|
存储 NoSQL 分布式数据库
HBase在订单系统的应用
HBase在订单系统的应用
|
Java 分布式数据库 Hbase
|
Java 分布式数据库 数据库
|
存储 JSON 算法
基于HBase构建千亿级文本数据相似度计算与快速去重系统
前言 随着大数据时代的到来,数据信息在给我们生活带来便利的同时,同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题海量文本数据所面临的存储与计算慢的问题。 一. 面临的问题 1. 如何选择文本的相似度计算或去重算法? 常见的有余弦夹角算法、欧式距离、Jaccard 相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用,但在海量数据背景下,如果每天产生的数据以千万计算,我们如何对于这些海
801 0
|
存储 分布式数据库 流计算
日志系统之HBase日志存储设计优化
本人博客文章如未特别注明皆为原创!如有转载请注明出处:http://blog.csdn.net/yanghua_kobe/article/details/46482319 继续谈论最近接手的日志系统,上篇关于日志收集相关的内容,这篇我们谈谈日志存储相关的话题。
3267 0
下一篇
无影云桌面