全网最详细Apache Kylin1.5安装(单节点)和测试案例

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 微视频链接: Apache Kylin初识           1.版本(当前实验版本组合,版本一定要兼容,否则各种问题)Hadoop2.7.2+HBase1.1.
微视频链接: Apache Kylin初识  
  
  
  

1.版本(当前实验版本组合,版本一定要兼容,否则各种问题)
Hadoop2.7.2+HBase1.1.5+Hive2.0.0
kylin-1.5.2.1    (apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz)

2.Hadoop环境编译以支持Snappy解压缩库
重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库

3.环境准备
Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建  
配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库

Hadoop2.7实战v1.0之Hive-2.0.0+MySQL本地模式安装
  
4. 配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库

5. 主机规划
IP                Host                    安装软件                 进程
172.16.101.55 sht-sgmhadoopnn-01   apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz RunJar
  
6. 添加hive_dependency和KYLIN_HOME环境变量

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 ~]# vi /etc/profile
  2. export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
  3. export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

  4. export HADOOP_HOME=/hadoop/hadoop
  5. export HBASE_HOME=/hadoop/hbase
  6. export ZOOKEEPER_HOME=/hadoop/zookeeper

  7. export HIVE_HOME=/hadoop/hive
  8. export hive_dependency=/hadoop/hive/conf:/hadoop/hive/lib/*:/hadoop/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar

  9. export KYLIN_HOME=/hadoop/kylin

  10. export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$KYLIN_HOME/bin:$PATH

  11. "/etc/profile" 99L, 2592C written
  12.  [root@sht-sgmhadoopnn-01 ~]# source /etc/profile


7.同步/etc/profile到集群其他节点,生效


 8.下载安装配置kylin

点击(此处)折叠或打开

  1. # 在sht-sgmhadoopnn-01上执行以下命令
  2. [root@sht-sgmhadoopnn-01 ~]# cd /hadoop
  3. [root@sht-sgmhadoopnn-01 hadoop]# wget https://dist.apache.org/repos/dist/release/kylin/apache-kylin-1.5.2.1/apache-kylin-1.5.2.1-HBase1.x-bin.tar.gz
  4. [root@sht-sgmhadoopnn-01 hadoop]# tar -zxvf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
  5. [root@sht-sgmhadoopnn-01 hadoop]# ln -s /hadoop/apache-kylin-1.5.2.1-bin /hadoop/kylin

  6.  [root@sht-sgmhadoopnn-01 hadoop]# vi /hadoop/kylin/bin/kylin.sh
  7. export KYLIN_HOME=/hadoop/kylin # 改成绝对路径
  8. export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX #在路径中添加$hive_dependency

9.修改kylin.properties

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 conf]# vi $KYLIN_HOME/conf/kylin.properties
######修改
# List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.rest.servers=sht-sgmhadoopnn-01:7070
######新增
kylin.job.jar=$KYLIN_HOME/lib/kylin-job-1.5.2.1.jar
kylin.coprocessor.local.jar=$KYLIN_HOME /lib/kylin-coprocessor-1.5.2.1.jar
10.启动kylin
 [root@sht-sgmhadoopnn-01 kylin]#  $KYLIN_HOME/bin/kylin.sh  start
.........
.........
KYLIN_DEBUG_SETTINGS is not set, will not enable remote debuging
KYLIN_LD_LIBRARY_SETTINGS is not set, Usually it's okay unless you want to specify your own native path
A new Kylin instance is started by root, stop it using "kylin.sh stop"
Please visit <a href="http://http://:7070/kylin

You can check the log at /hadoop/kylin/logs/kylin.log<a href="http://http://:7070/kylin

You can check the log at


###http://172.16.101.55:7070/kylin   账号: ADMIN    密码:KYLIN

11.检查kylin是否启动成功

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 kylin]# netstat -nlp |grep 7070
 tcp 0 0 0.0.0.0:7070 0.0.0.0:* LISTEN 30939/java
  [root@sht-sgmhadoopnn-01 kylin]#

12.导入官网测试案例

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 kylin]# $KYLIN_HOME/bin/kylin.sh stop
 [root@sht-sgmhadoopnn-01 kylin]# $KYLIN_HOME/bin/sample.sh
 [root@sht-sgmhadoopnn-01 kylin]# $KYLIN_HOME/bin/kylin.sh start

1>.选中'kylin_sales_cube'示例立方体,点击'Actions'->'Build',选择一个截止日期,本试验中选择的是'2016-01-10'
(具体小时,分,秒随便选,因为最终hive sql的语句类似     WHERE (KYLIN_SALES.PART_DT >= '2012-01-01' AND KYLIN_SALES.PART_DT < '2016-01-10');)


2>.在'Monitor'标签中通过刷新页面检查进度条,直到100%

 

3>.在'Insight'标签中执行下面的SQL查询:
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt;
###耗时2.87s
4>.在hive中执行同一个SQL查询,验证kylin的查询结果(会开启MapReduce Job计算)
###耗时65.205s
查询执行和结果如图所示

Build成功后,hive中建立了3+n个表,如图所示(3个官网案例hive表,n个build的hive表)
 

Build成功后,hbase中建立了1+n个表,如图所示(1个元数据表,n个build的hbase表)

 

<a href="http://http://:7070/kylin

You can check the log at

相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
10天前
|
安全 Java 测试技术
Windows电脑安装Apache JMeter的详细教程
本文介绍了在Windows上安装Apache JMeter的步骤。首先,需确保安装Java JDK并配置环境变量。然后,从JMeter官网下载ZIP文件,解压至指定目录,并同样配置JMeter的环境变量。验证安装成功后,可通过命令行以GUI或非GUI模式启动JMeter,进行性能测试。
27 0
|
2天前
|
Java 应用服务中间件 Apache
安装和配置Apache Tomcat是部署Java Web应用程序的常见任务
安装和配置Apache Tomcat是部署Java Web应用程序的常见任务
17 7
|
18天前
|
安全 测试技术
软件测试项目式学习二(认识软件测试及软件测试分类与案例分析)
软件测试项目式学习二(认识软件测试及软件测试分类与案例分析)
21 1
|
1天前
|
分布式计算 Shell Linux
Spark-集群安装、部署、启动、测试(1.6.3)稳定版
Spark-集群安装、部署、启动、测试(1.6.3)稳定版
6 0
|
1月前
|
测试技术 Apache Windows
如何使用apache的ab压力测试小工具传参数
该内容是关于在Windows环境下使用PHPStudy中的Apache集成的ab工具进行性能测试的简要教程。
33 9
|
15天前
|
Java
JavaSE——集合框架二(6/6)-(案例)补充知识:集合的嵌套(需求与分析、问题解决、运行测试)
JavaSE——集合框架二(6/6)-(案例)补充知识:集合的嵌套(需求与分析、问题解决、运行测试)
57 0
|
1月前
|
前端开发 测试技术 数据安全/隐私保护
软件测试 —— 案例系统缺陷报告
软件测试 —— 案例系统缺陷报告
19 1
|
18天前
|
Apache Windows
windows 一键安装apache服务器 windows傻瓜式安装apache2 web服务器管理软件
windows 一键安装apache服务器 windows傻瓜式安装apache2 web服务器管理软件
|
18天前
|
Apache Windows
apache2 安装时报错 ServerRoot must be a valid directory
apache2 安装时报错 ServerRoot must be a valid directory
|
18天前
|
Apache Windows
windows源码安装apache2 win安装apache 阿帕奇服务器
windows源码安装apache2 win安装apache 阿帕奇服务器

热门文章

最新文章

推荐镜像

更多