5分钟在k8s上可视化搭建Kylin5

简介: 使用CloudEon可以极快地在Kubernetes上搭建Kylin5需要的HDFS、YARN、Hive、Zookeeper等组件,省去不少安装的时间。

Kubernetes环境准备

需要有一个可用的Kubernetes环境,如果不会搭建可以搜索引擎检索kubekey或者rancher,有大量快速搭建文档,当然用kubeadmin也可以。


如果只是测试的话,可以用k3s搭建一个集群,操作比较简单,资源占用也比较少。


使用CloudEon搭建Kylin5

CloudEon是一款基于Kubernetes的开源大数据平台,该平台致力于简化多种大数据服务在Kubernetes上的部署和管理。


这里使用CloudEon可以极快地在Kubernetes上搭建Kylin5需要的HDFS、YARN、Hive、Zookeeper等组件,省去不少安装的时间。


直接使用docker启动CloudEon。

docker run  -p7700:7700  --name cloudeon --rm registry.cn-hangzhou.aliyuncs.com/udh/cloudeon:dev


启动CloudEon后,默认密码是admin/admin。


我们需要在CloudEon中创建一个Kubernetes集群,绑定我们已有的Kubernetes集群环境。


需要填写kubeconfig,用于CloudEon访问Kubernetes集群。kubeconfig的内容一般可以从Kubernetes的master节点上执行命令cat ~/.kube/config得到。需要注意一下server如果是hostname的话,需要保证CloudEon能正确访问得到。

image.png

成功创建集群后,需要添加节点,输入各个节点的ssh密码和账号即可。

然后我们开始安装Kylin服务。我已经提前安装好Kylin依赖的服务,如果没安装过,会提示先安装。 分配角色实例到指定节点安装

image.png

修改初始化配置,需要设置mysql配置

image.png

约等待几分钟,即可安装成功。

image.png

安装成功后可以点击Kylin服务,查看服务详情。

image.png

也可以通过服务角色,查看kylin的实时日志。

image.png

image.png

通过服务的web地址可以跳转kylin首页,地址一是通过hostname访问,地址二是通过ip地址访问。

image.png

默认密码是ADMIN/KYLIN

image.png


成功登陆后可以看到kylin5全新的界面,好看了不少。

image.png

导入Kylin5样本数据

使用kubectl进入kylin的pod中

[root@test-1 ~]# kubectl get pod |grep kylinkylin-server-kylin18-74dbbbdc67-cp2f4                1/1     Running   0          6m43s
[root@test-1 ~]# kubectl exec -it kylin-server-kylin18-74dbbbdc67-cp2f4  bash

进入pod后,直接执行脚本导入内置数据集和样本项目。

sample.sh

等待几分钟后,可以看到数据都导入完成了,一些sql脚本也用hive命令执行完了。

回到页面上可以看到多了新的项目和一些hive表数据。

image.png


构建cube

点击model页面,可以看到多了一个cube

打开后,可以看到数据表直接的关系,很直看到都是inner join还有关联的字段。

点击index,可以看到默认导入的一些聚合组合还有index,可以看到状态都是没有构建的。

点击构建,可以选择增量或者全量,这里选择全量。

查看监控,可以看到构建的job

构建完成后可以看到cube的信息更新了


查询数据

执行sql查询

SELECT 
P_PARTKEY,P_NAME ,count(*)
FROM 
"SSB"."P_LINEORDER" as "P_LINEORDER"INNER JOIN "SSB"."CUSTOMER" as "CUSTOMER"ON "P_LINEORDER"."LO_CUSTKEY"="CUSTOMER"."C_CUSTKEY"INNER JOIN "SSB"."PART" as "PART"ON "P_LINEORDER"."LO_PARTKEY"="PART"."P_PARTKEY"INNER JOIN "SSB"."SUPPLIER" as "SUPPLIER"ON "P_LINEORDER"."LO_SUPPKEY"="SUPPLIER"."S_SUPPKEY"INNER JOIN "SSB"."DATES" as "DATES"ON "P_LINEORDER"."LO_ORDERDATE"="DATES"."D_DATEKEY"group by P_PARTKEY,P_NAME

可以看到answer的是cube而不是hive(spark)。

image.png

再执行一个查询

可以看到answer的是hive(spark),因为该查询语句没有命中预构建的cube,是直接用的spark进行即席查询的。

点击跳转,可以跳到spark 的ui页面查看执行计划。

相关链接:

Gitee:https://gitee.com/dromara/CloudEon

Github:https://github.com/dromara/CloudEon

官网:https://cloudeon.top/

项目文档:https://docs.cloudeon.top/en/dev/






相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
Kubernetes 数据可视化 容器
『Kubernetes』在k8s中部署Dashboard可视化面板
📣读完这篇文章里你能收获到 - 保姆级的K8S安装Dashboard - 可视化管理Kubernetes
2165 1
『Kubernetes』在k8s中部署Dashboard可视化面板
|
Web App开发 Kubernetes 数据可视化
Kubernetes Dashboard 可视化插件部署 博主亲自实践可用
Kubernetes Dashboard 可视化插件部署 博主亲自实践可用
324 0
|
Kubernetes 网络协议 数据可视化
kubernetes Tcp流量可视化
kubernetes Tcp流量可视化
281 4
|
Kubernetes Cloud Native 持续交付
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
|
运维 Kubernetes 网络协议
kubernetes 的TCP 数据包可视化
kubernetes 的TCP 数据包可视化
437 0
|
Kubernetes 数据可视化 容器
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(二)
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(二)
1455 0
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(二)
|
Kubernetes 数据可视化 算法
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(一)
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(一)
434 0
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(一)
|
Web App开发 Kubernetes 数据可视化
Kubernetes Dashboard 可视化插件部署 博主亲自实践可用
Kubernetes Dashboard 可视化插件部署 博主亲自实践可用
389 0
|
存储 Kubernetes 数据可视化
2021完整版:Kubernetes Deployment故障排除的可视化指南
2021完整版:Kubernetes Deployment故障排除的可视化指南
2021完整版:Kubernetes Deployment故障排除的可视化指南

热门文章

最新文章