一文读懂 Kubernetes 大数据平台-CloudEon

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: Hello folks,我是 Luga,今天我们来分享一下关于 Kubernetes 大数据平台管理工具-CloudEon。作为一款基于 Kubernetes 大数据平台,CloudEon 旨在为管理 Kubernetes 大数据资源提供一种更直观和可视化的方式。

01

CloudEon 是什么?


    随着云原生技术的发展,越来越多的业务场景需要使用容器来部署和管理应用程序,而 Kubernetes 作为容器编排平台的事实标准,自然也受到了越来越多的关注和使用。

    但是如果想在 Kubernetes 上部署和运维大数据服务是有比较高的学习成本,需要专业的运维人员来进行管理和维护,在这种情况下,我们开发出 CloudEon平台,致力于简化多种大数据服务在 Kubernetes 上的部署和管理,同时还能更好地利用 Kubernetes 的资源调度和管理能力,使用户更加简单、方便、高效地搭建和管理大数据集群。

    CloudEon 是一款基于 Kubernetes 的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在 Kubernetes 上的部署和管理,如 Hadoop、Doris、Spark、Flink、Hive 等,能够满足不同规模和业务需求下的大数据处理和分析需求。

    关于 CloudEon 平台的简介,可自行了解一下

02

CloudEon 特性


    基于 CloudEon 平台,我们能够实现如下,具体:

    1、快速搭建大数据集群

    在 Kubernetes Cluster 上快速搭建部署大数据集群,省去了手动安装和配置的繁琐过程。

    2、容器化运行大数据服务

    大数据服务以容器方式运行,服务的部署和管理更加灵活和便捷,更好地利用 Kubernetes 的资源调度和管理能力.

    3、支持监控告警等功能

    基于CloudEon 平台可以帮助用户实时监控集群运行状态,及时发现和解决问题。

    4、支持配置修改等功能

    使用户能够更加灵活地管理和配置自己的大数据集群。

    5、自动化运维

    降低集群管理的难度和人力成本,提高集群的可用性和稳定性。

    6、可视化管理界面

    用户能够更加直观地管理和监控自己的大数据集群。

    7、灵活的扩展性

    提供插件机制,让用户可以自定义拓展和安装更多的大数据服务

03

CloudEon 参考架构模型


    CloudEon 平台整体架构可参考如下所示:

    CloudEon所涉及技术栈,具体可参考如下所示:

    1、后端技术栈

        springboot-v2.7.4

        lombok-v1.18.12

        hutool-v5.8.9

        hibernate-v5.6.11

        freemarker-v2.3.31

    2、前端技术栈

        react

        ant-design


04

CloudEon 安装部署


    在使用 CloudEon 平台之前,首次确保满足如下前置条件:

    1、Kubernetes 环境,可以使用 Kubekey / K3D / Minikube 等快速搭建

    2、SSH 服务,CloudEon 需要访问 Kubernetes 集群中节点的 SSH 服务

    针对 CloudEon 平台的部署,主要分为本地与 Docker 部署,具体可参考如下所示:

    1、基于 Docker 部署  

    Cloudeon 在 dockerhub 中的公共镜像地址为 peterpoker/cloudeon。如果你本地已经安装了 docker,执行以下命令可以一键安装:


docker run -p 7700:7700 peterpoker/cloudeon

    如果国内访问比较慢,也可以用如下命令行操作,具体:


docker run  -p 7700:7700  --name cloudeon --rm registry.cn-hangzhou.aliyuncs.com/udh/cloudeon:1.0.0

    镜像启动成功后,在浏览器中访问 http://docker_ip:7700 进入登录页。镜像中提供初始账户,用户名 admin 密码 admin

    安装完以后,我们开始进行配置应用数据库操作。在默认情况下,Cloudeon 使用内置的 H2 作为应用程序数据库。如果将 Cloudeon 用于生产环境,建议使用 MySQL 作为应用程序数据库。配置步骤如下:新建一个名为 application.properties 的空文件,将以下内容填写完整,然后粘贴到到文件中,具体如下所示:


# Http server port
server.port=7700
spring.main.banner-mode=log
# db
spring.jpa.open-in-view=false
spring.jpa.hibernate.ddl-auto=none
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/cloudeon?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
####### flyway properties #######
spring.flyway.enabled=true
spring.flyway.clean-disabled=true
spring.flyway.validate-on-migrate=true
# Configuration for uploading files.
spring.servlet.multipart.enabled=true
spring.servlet.multipart.file-size-threshold=0
spring.servlet.multipart.max-file-size=209715200
spring.servlet.multipart.max-request-size=209715200
# temporary skip circular references check
spring.main.allow-circular-references=true
####### cloudeon properties #######
cloudeon.stack.load.path=${cloudeon.home.path}/stack
cloudeon.remote.script.path=${cloudeon.home.path}/script
cloudeon.task.log=${cloudeon.home.path}/log
cloudeon.work.home=${cloudeon.home.path}/work
logging.config=${cloudeon.home.path}/conf/logback.xml

    接下来,我们进行配置文件挂载,运行以下命令,使用新建的 application.properties 配置启动镜像,具体如下所示:


docker run -d --name cloudeon -v your_path/application.properties:/usr/local/cloudeon/conf/application.properties -p 7700:7700 peterpoker/cloudeon

    2、基于本地部署

    通常,在本地部署,需要满足如下环境,具体:

  •     JDK 1.8+
  •     MySql5.7+ (可选,内置H2)
  •     Cloudeon 安装包(cloudeon-assembly-*-release.zip)
  •     Kubernetes 1.21 +    

    基于本地部署相对来说也较为简单,将压缩包下载到本地,然后解压运行即可,具体:


unzip cloudeon-assembly-*-release.zip
├── bin               # 执行脚本目录
├── conf            # 配置文件目录
├── script          # 临时脚本
├── lib               # 项目依赖目录
├── stack            # 大数据服务安装包插件
└── LICENSE

    此时,启动应用即可,具体可参考如下所示:


${CLOUDEON_HOME}/bin/server.sh start       # 启动
${CLOUDEON_HOME}/bin/server.sh stop        # 停止
${CLOUDEON_HOME}/bin/server.sh status      # 查看状态
${CLOUDEON_HOME}/bin/server.sh restart     # 重启

    如下为相关操作,大家可以进行了解

创建集群

添加节点

安装服务

05

总结


    CloudEon 是一款基于 Kubernetes 的云原生大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。如果 CloudEon 项目对您有帮助,请在 Github 搜索 CloudEon 支持一下,点击 Star 加关注。     CloudEon 遵循 Apache-2.0 开源协议,代码完全开源,如果您想为开源社区做出贡献,非常欢迎加入 CloudEon 项目,与其他开发者一起共同推动项目的发展。

    Github:https://github.com/dromara/CloudEon

    Gitee:https://gitee.com/dromara/CloudEon

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
1月前
|
机器学习/深度学习 运维 Kubernetes
AllData数据中台核心菜单三:数据平台(K8S)
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
AllData数据中台核心菜单三:数据平台(K8S)
|
5月前
|
分布式计算 Kubernetes Spark
大数据之spark on k8s
大数据之spark on k8s
198 2
|
Kubernetes 大数据 Docker
Kubernetes 应用问题的通用排查思路 - 大数据从业者之 Kubernetes 必知必会
Kubernetes 应用问题的通用排查思路 - 大数据从业者之 Kubernetes 必知必会
|
资源调度 分布式计算 Kubernetes
给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度
飞天伏羲作为有着十多年历史的调度团队,在服务好 MaxCompute 大数据平台的过程中,一直在不断通过自我革新赶超业界先进水平,我们经历了 Fuxi 2.0 的这样的大规模升级,今天通过 K8s 统一调度项目又再次实现了系统架构的蜕变,将大数据平台强大的调度能力赋予 K8s 系统,同时去拥抱 K8s 周边丰富的生态。除了集团弹内集群,将来我们在公共云、专有云等多个场景,也会以 K8s 统一调度的方式进行输出,以更好地服务云上的用户,敬请期待!
1719 11
给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度
|
人工智能 Kubernetes 大数据
探索云原生容器编排技术:如Kubernetes如何为大数据处理和AI模型的自动化部署带来便利
Kubernetes以容器为基础,将应用程序和其依赖项封装在容器中。这使得大数据处理和AI模型的部署更加一致和可移植,可以在不同的环境中轻松部署,包括开发、测试和生产环境。
313 0
|
人工智能 缓存 Kubernetes
Kubernetes在AI/大数据领域的 最新进展与大规模实践
根据在[CNCC 2022开源分布式云原生系统技术发展](https://ccf.org.cn/cncc2022/schedule_d_4075)论坛的演讲整理。 ![](https://ata2-img.oss-cn-zhangjiakou.aliyuncs.com/neweditor/08cde176-d1d3-49ae-a1f7-cc025d3f06f3.png) 在云计算技术快速发展的过
1609 7
Kubernetes在AI/大数据领域的最新进展与大规模实践
|
运维 资源调度 Kubernetes
轻量级云原生大数据平台"CloudEon"正式开源
一款基于Kubernetes的云原生大数据平台,致力于简化Kubernetes上大数据集群的运维管理,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。
418 0
|
存储 分布式计算 运维
基于 Kubernetes 的企业级大数据平台,EMR on ACK 技术初探
通过阿里云容器服务 ACK 运行开源大数据任务,将以集群为中心的视角切换成以作业为中心视角,还可以实现在线业务、AI、大数据统一接入 ACK 集群,错峰调度,离线在线混部,提升机器利用率。并且,实现了运维入口、运维工具链、监控体系的三重统一。此外,还支持多版本,如同时运行 Spark2.x 和 Spark 3.x 任务。
基于 Kubernetes 的企业级大数据平台,EMR on ACK 技术初探
|
机器学习/深度学习 人工智能 Kubernetes
邀您参与 | 阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务?
2020 年 7 月 15 日上午 10:00,《阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务?》主题线上网络研讨会即将召开。
邀您参与 | 阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务?
|
SQL 机器学习/深度学习 弹性计算
阿里巴巴飞天大数据平台实时计算Flink on Kubernetes最新特性
目前实时计算的产品已经有两种模式,即共享模式和独享模式。这两种模式都是全托管方式,这种托管方式下用户不需要关心整个集群的运维。其次,共享模式和独享模式使用的都是Blink引擎。
1107 0
阿里巴巴飞天大数据平台实时计算Flink on Kubernetes最新特性
下一篇
无影云桌面