hbase+opentsdb 单机版搭建

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
简介:

2018年2月19日星期一 Lee

这个实验步骤比较简单,只能用来演示下搭建过程,实际生产环境复杂的很多。

实验环境:

centos6.5 x86_64
IP: 10.0.20.25

这里实验没有用HDFS,生产环境的话,hbase还是要把数据存到hdfs上比较安全的。

1. 安装单机zookeeper

cd /root/
tar xf zookeeper-3.4.8.tar.gz -C ./
mv zookeeper-3.4.8 /opt/zk

cd /opt/zk
cat conf/zoo.cfg 内容如下:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181

/opt/zk/bin/zkServer.sh start /opt/zk1/zk1.cfg

/opt/zk/bin/zkCli.sh -server 10.0.20.25:2181 
 

2. 安装单机hbase

tar xf hbase-1.2.6-bin.tar.gz –C /usr/local
cd /usr/local/
ln –s hbase-1.2.6 hbase
cd hbase
mkdir data   // 用来存放hbase的data数据【生产环境下,处于安全性考虑,hbase数据是存放到hdfs的】
cd conf

vim hbase-env.sh 最后追加3行:

export JAVA_HOME=/usr/java/jdk1.8.0_91
export PATH=${JAVA_HOME}/bin:$PATH
export HBASE_MANAGES_ZK=false

cat hbase-site.xml 添加红色部分的代码:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
    <name>hbase.rootdir</name>
    <value>/usr/local/hbase/data/</value>
  </property>

<property>
    <name>hbase.master.info.port</name>
    <value>16001</value>
</property>

 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>  <!-- false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。-->
  </property>

  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost:2181</value>
  </property>
</configuration>

更详细的可参看:https://www.cnblogs.com/yangsy0915/p/5544533.html

cat regionservers 内容如下:
localhost
注意regionservers 里面写的内容和上面的hbase.zookeeper.quorum里面的hostname一样。

 

启动hbase:

cd /usr/local/hbase/bin
./start-hbase.sh  即可启动hbase

 

验证:

ss –lnt | grep 16001
ps aux|grep hbase

补充,HDFS+hbase+3节点zk的 hbase-site.xml配置文件写法:

<configuration> 
 //设置将数据写入hdfs的目录
  <property>  
    <name>hbase.rootdir</name>  
    <value>hdfs://master:9000/usr/local/hadoop-2.6.0/hbaseData</value>  
  </property>  
 //设置hbase模式为集群模式
<property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
</property>
 //设置hbase的master端口地址
<property>
  <name>hbase.master</name>
  <value>hdfs://master:60000</value>
</property>
//HBase Master web界面绑定的端口,默认为0.0.0.0
<property>
  <name>hbase.master.info.port</name>
  <value>60010</value>
</property>
//连接zookeeper的端口设置
    <property>    
        <name>hbase.zookeeper.property.clientPort</name>    
        <value>2183</value>    
    </property>  
  //设置zookeeper的连接地址(必须为基数个)
 <property>  
           <name>hbase.zookeeper.quorum</name>  
           <value>master,slave1,slave2</value>  
   </property>
//Zookeeper的zoo.conf中的路径配置,快照的存储位置
<property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper-3.4.6/data</value>
</property>
//Zookeeper连接超时时间
<property>
  <name>zookeeper.session.timeout</name>
  <value>60000</value>
</property>
</configuration>

3. 安装opentsdb

官方网站:http://opentsdb.net/docs/build/html/installation.html#id1

rpm –ivh opentsdb-2.3.0.rpm
 
cd /etc/opentsdb
vim opentsdb.conf 内容如下:

tsd.network.port = 4242
tsd.network.bind = 0.0.0.0
tsd.network.worker_threads = 8
tsd.http.staticroot = /usr/share/opentsdb/static/
tsd.http.cachedir = /tmp/opentsdb
tsd.core.auto_create_metrics = true
tsd.core.plugin_path = /usr/share/opentsdb/plugins
tsd.storage.hbase.zk_quorum = localhost:2181

 
启动之前,需要到hbase上面去创建表:

cd /usr/share/opentsdb/tools
env COMPRESSION=NONE HBASE_HOME=/usr/local/hbase ./create_table.sh

启动及验证:
/etc/init.d/opentsdb start

 
ss -lnt | grep 4242
ps aux|grep opentsdb
访问浏览器的http://10.0.20.25:4242
 

4. 写数据测试

http api写数据方法:

官方文档:http://opentsdb.net/docs/build/html/api_http/put.html

可以使用chrome插件,如下方式post数据到opentsdb。【返回值204表示提交成功】
hbase+opentsdb 单机版搭建

也可以使用tcollector来采集系统数据,并写入到opentsdb,方法如下:

 
git clone https://github.com/OpenTSDB/tcollector.git
cd tcollector
如果不修改tcollector.py文件的话,默认采集程序会把采集的东西上送到localhost本地的opentsdb里面。【默认参数如下图】
hbase+opentsdb 单机版搭建

 
./tcollector start // 即可在后台启动采集程序
ps aux | grep tcollector

 
如果需要采集mysql等其他软件的监控状态,需要去 collectors/etc/ 这个目录下的对应脚本里面,添加相关的账户名和密码,以便采集程序搜集信息。

 
然后,就可以到opentsdb的web界面去绘图了,下面是我采集了好几个小时的数据展示:
hbase+opentsdb 单机版搭建

 
放到grfana里面,数据显示会更好看点。
hbase+opentsdb 单机版搭建

 
配置大致这样的:
hbase+opentsdb 单机版搭建










本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/2071936,如需转载请自行联系原作者
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
存储 分布式计算 Hadoop
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
801 0
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
|
存储 分布式计算 Ubuntu
|
分布式计算 Hadoop Java
HBase搭建单机版
HBase搭建单机版
196 0
HBase搭建单机版
|
存储 SQL 分布式计算
Hbase单机模式部署
 HBase是一个分布式、面向列的开源数据库,是Apache Hadoop项目的子项目,适用于非结构化数据存储的数据库。在Hadoop家族中,很多产品为HBase提供服务
624 0
|
分布式计算 资源调度 Hadoop
CentOS7使用HBase-1.2.6单机版+hadoop-2.6.5单机版
CentOS7使用HBase-1.2.6单机版+hadoop-2.6.5单机版
219 0
|
存储 分布式计算 监控
CentOS7使用HBase-1.2.6单机版,无hadoop
CentOS7使用HBase-1.2.6单机版,无hadoop
346 0
|
分布式计算 Hadoop Java
HBase 在单机模式 和伪分布模式下的安装
HBase的安装 本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式。 安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配。 我将要安装的hbase是hbase-0.90.4版本,需要的hadoop是hadoop-0.20.2版本。 1.单机安装 将下载的hbase-0.90.4解压到相应的目录,如/home/zhangxin/hbase-0.90.4 修改hbase-0.90.4下的conf目录下的配置文件hbase-env.sh 首先,修改hbase-env.sh中的如下属性: export JAVA_HOME=/home/zhang
278 0
|
存储 监控 物联网
解密 云HBase时序引擎OpenTSDB 优化技术
逝者如斯夫,不舍昼夜。                                                       —— 孔子 时间如流水,一去不复返。自古不乏对时间流逝的感慨,而现代已经有很多技术记录流逝的过去。
2456 0
解密 云HBase时序引擎OpenTSDB 优化技术
|
存储 监控 分布式数据库
云HBase之OpenTSDB时序引擎压缩优化
在中国HBase技术社区第十届meetup--HBase生态实践 (杭州站)上,阿里云技术专家郭泽晖为大家介绍了云HBase之时序引擎OpenTSDB的介绍及压缩优化,向大家展示了使用OpenTSDB所遇到的一些问题及优化方案,并对云OpenTSDB的集中使用模式进行了相应的介绍。
12818 0
|
Java 分布式数据库 开发工具
hbase_学习_01_HBase环境搭建(单机)
一、前言 本文承接上一篇:hadoop_学习_02_Hadoop环境搭建(单机)  ,主要是搭建HBase的单机环境   二、环境准备 1.说明 hbase 的下载来源有: 官方版本:http://archive.apache.org/dist/hbase/ CDH版本:http://archive.cloudera.com/cdh5 企业应用一般选择CDH版本,因为比较稳定。
1692 0
下一篇
DataWorks