5分钟在k8s上可视化搭建Kylin5

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 使用CloudEon可以极快地在Kubernetes上搭建Kylin5需要的HDFS、YARN、Hive、Zookeeper等组件,省去不少安装的时间。

Kubernetes环境准备

需要有一个可用的Kubernetes环境,如果不会搭建可以搜索引擎检索kubekey或者rancher,有大量快速搭建文档,当然用kubeadmin也可以。


如果只是测试的话,可以用k3s搭建一个集群,操作比较简单,资源占用也比较少。


使用CloudEon搭建Kylin5

CloudEon是一款基于Kubernetes的开源大数据平台,该平台致力于简化多种大数据服务在Kubernetes上的部署和管理。


这里使用CloudEon可以极快地在Kubernetes上搭建Kylin5需要的HDFS、YARN、Hive、Zookeeper等组件,省去不少安装的时间。


直接使用docker启动CloudEon。

docker run  -p7700:7700  --name cloudeon --rm registry.cn-hangzhou.aliyuncs.com/udh/cloudeon:dev


启动CloudEon后,默认密码是admin/admin。


我们需要在CloudEon中创建一个Kubernetes集群,绑定我们已有的Kubernetes集群环境。


需要填写kubeconfig,用于CloudEon访问Kubernetes集群。kubeconfig的内容一般可以从Kubernetes的master节点上执行命令cat ~/.kube/config得到。需要注意一下server如果是hostname的话,需要保证CloudEon能正确访问得到。

image.png

成功创建集群后,需要添加节点,输入各个节点的ssh密码和账号即可。

然后我们开始安装Kylin服务。我已经提前安装好Kylin依赖的服务,如果没安装过,会提示先安装。 分配角色实例到指定节点安装

image.png

修改初始化配置,需要设置mysql配置

image.png

约等待几分钟,即可安装成功。

image.png

安装成功后可以点击Kylin服务,查看服务详情。

image.png

也可以通过服务角色,查看kylin的实时日志。

image.png

image.png

通过服务的web地址可以跳转kylin首页,地址一是通过hostname访问,地址二是通过ip地址访问。

image.png

默认密码是ADMIN/KYLIN

image.png


成功登陆后可以看到kylin5全新的界面,好看了不少。

image.png

导入Kylin5样本数据

使用kubectl进入kylin的pod中

[root@test-1 ~]# kubectl get pod |grep kylinkylin-server-kylin18-74dbbbdc67-cp2f4                1/1     Running   0          6m43s
[root@test-1 ~]# kubectl exec -it kylin-server-kylin18-74dbbbdc67-cp2f4  bash

进入pod后,直接执行脚本导入内置数据集和样本项目。

sample.sh

等待几分钟后,可以看到数据都导入完成了,一些sql脚本也用hive命令执行完了。

回到页面上可以看到多了新的项目和一些hive表数据。

image.png


构建cube

点击model页面,可以看到多了一个cube

打开后,可以看到数据表直接的关系,很直看到都是inner join还有关联的字段。

点击index,可以看到默认导入的一些聚合组合还有index,可以看到状态都是没有构建的。

点击构建,可以选择增量或者全量,这里选择全量。

查看监控,可以看到构建的job

构建完成后可以看到cube的信息更新了


查询数据

执行sql查询

SELECT 
P_PARTKEY,P_NAME ,count(*)
FROM 
"SSB"."P_LINEORDER" as "P_LINEORDER"INNER JOIN "SSB"."CUSTOMER" as "CUSTOMER"ON "P_LINEORDER"."LO_CUSTKEY"="CUSTOMER"."C_CUSTKEY"INNER JOIN "SSB"."PART" as "PART"ON "P_LINEORDER"."LO_PARTKEY"="PART"."P_PARTKEY"INNER JOIN "SSB"."SUPPLIER" as "SUPPLIER"ON "P_LINEORDER"."LO_SUPPKEY"="SUPPLIER"."S_SUPPKEY"INNER JOIN "SSB"."DATES" as "DATES"ON "P_LINEORDER"."LO_ORDERDATE"="DATES"."D_DATEKEY"group by P_PARTKEY,P_NAME

可以看到answer的是cube而不是hive(spark)。

image.png

再执行一个查询

可以看到answer的是hive(spark),因为该查询语句没有命中预构建的cube,是直接用的spark进行即席查询的。

点击跳转,可以跳到spark 的ui页面查看执行计划。

相关链接:

Gitee:https://gitee.com/dromara/CloudEon

Github:https://github.com/dromara/CloudEon

官网:https://cloudeon.top/

项目文档:https://docs.cloudeon.top/en/dev/






相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
Kubernetes 数据可视化 容器
『Kubernetes』在k8s中部署Dashboard可视化面板
📣读完这篇文章里你能收获到 - 保姆级的K8S安装Dashboard - 可视化管理Kubernetes
1455 1
『Kubernetes』在k8s中部署Dashboard可视化面板
|
2月前
|
Kubernetes 网络协议 数据可视化
kubernetes Tcp流量可视化
kubernetes Tcp流量可视化
37 4
|
3月前
|
Kubernetes Cloud Native 持续交付
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
|
5月前
|
Web App开发 Kubernetes 数据可视化
Kubernetes Dashboard 可视化插件部署 博主亲自实践可用
Kubernetes Dashboard 可视化插件部署 博主亲自实践可用
110 0
|
运维 Kubernetes 网络协议
kubernetes 的TCP 数据包可视化
kubernetes 的TCP 数据包可视化
320 0
|
Web App开发 Kubernetes 数据可视化
Kubernetes Dashboard 可视化插件部署 博主亲自实践可用
Kubernetes Dashboard 可视化插件部署 博主亲自实践可用
140 0
|
Kubernetes 数据可视化 容器
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(二)
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(二)
896 0
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(二)
|
Kubernetes 数据可视化 算法
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(一)
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(一)
187 0
部署Kubernetes集群+Dashboard可视化页面-1.18.6版本(一)
|
存储 Kubernetes 数据可视化
2021完整版:Kubernetes Deployment故障排除的可视化指南
2021完整版:Kubernetes Deployment故障排除的可视化指南
732 1
2021完整版:Kubernetes Deployment故障排除的可视化指南
下一篇
无影云桌面