一文读懂 Kubernetes 大数据平台-CloudEon

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
云数据库 RDS MySQL Serverless,价值2615元额度,1个月
简介: Hello folks,我是 Luga,今天我们来分享一下关于 Kubernetes 大数据平台管理工具-CloudEon。作为一款基于 Kubernetes 大数据平台,CloudEon 旨在为管理 Kubernetes 大数据资源提供一种更直观和可视化的方式。

01

CloudEon 是什么?


    随着云原生技术的发展,越来越多的业务场景需要使用容器来部署和管理应用程序,而 Kubernetes 作为容器编排平台的事实标准,自然也受到了越来越多的关注和使用。

    但是如果想在 Kubernetes 上部署和运维大数据服务是有比较高的学习成本,需要专业的运维人员来进行管理和维护,在这种情况下,我们开发出 CloudEon平台,致力于简化多种大数据服务在 Kubernetes 上的部署和管理,同时还能更好地利用 Kubernetes 的资源调度和管理能力,使用户更加简单、方便、高效地搭建和管理大数据集群。

    CloudEon 是一款基于 Kubernetes 的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在 Kubernetes 上的部署和管理,如 Hadoop、Doris、Spark、Flink、Hive 等,能够满足不同规模和业务需求下的大数据处理和分析需求。

    关于 CloudEon 平台的简介,可自行了解一下

02

CloudEon 特性


    基于 CloudEon 平台,我们能够实现如下,具体:

    1、快速搭建大数据集群

    在 Kubernetes Cluster 上快速搭建部署大数据集群,省去了手动安装和配置的繁琐过程。

    2、容器化运行大数据服务

    大数据服务以容器方式运行,服务的部署和管理更加灵活和便捷,更好地利用 Kubernetes 的资源调度和管理能力.

    3、支持监控告警等功能

    基于CloudEon 平台可以帮助用户实时监控集群运行状态,及时发现和解决问题。

    4、支持配置修改等功能

    使用户能够更加灵活地管理和配置自己的大数据集群。

    5、自动化运维

    降低集群管理的难度和人力成本,提高集群的可用性和稳定性。

    6、可视化管理界面

    用户能够更加直观地管理和监控自己的大数据集群。

    7、灵活的扩展性

    提供插件机制,让用户可以自定义拓展和安装更多的大数据服务

03

CloudEon 参考架构模型


    CloudEon 平台整体架构可参考如下所示:

    CloudEon所涉及技术栈,具体可参考如下所示:

    1、后端技术栈

        springboot-v2.7.4

        lombok-v1.18.12

        hutool-v5.8.9

        hibernate-v5.6.11

        freemarker-v2.3.31

    2、前端技术栈

        react

        ant-design


04

CloudEon 安装部署


    在使用 CloudEon 平台之前,首次确保满足如下前置条件:

    1、Kubernetes 环境,可以使用 Kubekey / K3D / Minikube 等快速搭建

    2、SSH 服务,CloudEon 需要访问 Kubernetes 集群中节点的 SSH 服务

    针对 CloudEon 平台的部署,主要分为本地与 Docker 部署,具体可参考如下所示:

    1、基于 Docker 部署  

    Cloudeon 在 dockerhub 中的公共镜像地址为 peterpoker/cloudeon。如果你本地已经安装了 docker,执行以下命令可以一键安装:


docker run -p 7700:7700 peterpoker/cloudeon

    如果国内访问比较慢,也可以用如下命令行操作,具体:


docker run  -p 7700:7700  --name cloudeon --rm registry.cn-hangzhou.aliyuncs.com/udh/cloudeon:1.0.0

    镜像启动成功后,在浏览器中访问 http://docker_ip:7700 进入登录页。镜像中提供初始账户,用户名 admin 密码 admin

    安装完以后,我们开始进行配置应用数据库操作。在默认情况下,Cloudeon 使用内置的 H2 作为应用程序数据库。如果将 Cloudeon 用于生产环境,建议使用 MySQL 作为应用程序数据库。配置步骤如下:新建一个名为 application.properties 的空文件,将以下内容填写完整,然后粘贴到到文件中,具体如下所示:


# Http server port
server.port=7700
spring.main.banner-mode=log
# db
spring.jpa.open-in-view=false
spring.jpa.hibernate.ddl-auto=none
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/cloudeon?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
####### flyway properties #######
spring.flyway.enabled=true
spring.flyway.clean-disabled=true
spring.flyway.validate-on-migrate=true
# Configuration for uploading files.
spring.servlet.multipart.enabled=true
spring.servlet.multipart.file-size-threshold=0
spring.servlet.multipart.max-file-size=209715200
spring.servlet.multipart.max-request-size=209715200
# temporary skip circular references check
spring.main.allow-circular-references=true
####### cloudeon properties #######
cloudeon.stack.load.path=${cloudeon.home.path}/stack
cloudeon.remote.script.path=${cloudeon.home.path}/script
cloudeon.task.log=${cloudeon.home.path}/log
cloudeon.work.home=${cloudeon.home.path}/work
logging.config=${cloudeon.home.path}/conf/logback.xml

    接下来,我们进行配置文件挂载,运行以下命令,使用新建的 application.properties 配置启动镜像,具体如下所示:


docker run -d --name cloudeon -v your_path/application.properties:/usr/local/cloudeon/conf/application.properties -p 7700:7700 peterpoker/cloudeon

    2、基于本地部署

    通常,在本地部署,需要满足如下环境,具体:

  •     JDK 1.8+
  •     MySql5.7+ (可选,内置H2)
  •     Cloudeon 安装包(cloudeon-assembly-*-release.zip)
  •     Kubernetes 1.21 +    

    基于本地部署相对来说也较为简单,将压缩包下载到本地,然后解压运行即可,具体:


unzip cloudeon-assembly-*-release.zip
├── bin               # 执行脚本目录
├── conf            # 配置文件目录
├── script          # 临时脚本
├── lib               # 项目依赖目录
├── stack            # 大数据服务安装包插件
└── LICENSE

    此时,启动应用即可,具体可参考如下所示:


${CLOUDEON_HOME}/bin/server.sh start       # 启动
${CLOUDEON_HOME}/bin/server.sh stop        # 停止
${CLOUDEON_HOME}/bin/server.sh status      # 查看状态
${CLOUDEON_HOME}/bin/server.sh restart     # 重启

    如下为相关操作,大家可以进行了解

创建集群

添加节点

安装服务

05

总结


    CloudEon 是一款基于 Kubernetes 的云原生大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。如果 CloudEon 项目对您有帮助,请在 Github 搜索 CloudEon 支持一下,点击 Star 加关注。     CloudEon 遵循 Apache-2.0 开源协议,代码完全开源,如果您想为开源社区做出贡献,非常欢迎加入 CloudEon 项目,与其他开发者一起共同推动项目的发展。

    Github:https://github.com/dromara/CloudEon

    Gitee:https://gitee.com/dromara/CloudEon

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
7月前
|
Kubernetes 大数据 Docker
Kubernetes 应用问题的通用排查思路 - 大数据从业者之 Kubernetes 必知必会
Kubernetes 应用问题的通用排查思路 - 大数据从业者之 Kubernetes 必知必会
|
运维 资源调度 Kubernetes
轻量级云原生大数据平台"CloudEon"正式开源
一款基于Kubernetes的云原生大数据平台,致力于简化Kubernetes上大数据集群的运维管理,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。
322 0
|
人工智能 缓存 Kubernetes
Kubernetes在AI/大数据领域的 最新进展与大规模实践
根据在[CNCC 2022开源分布式云原生系统技术发展](https://ccf.org.cn/cncc2022/schedule_d_4075)论坛的演讲整理。 ![](https://ata2-img.oss-cn-zhangjiakou.aliyuncs.com/neweditor/08cde176-d1d3-49ae-a1f7-cc025d3f06f3.png) 在云计算技术快速发展的过
1167 0
Kubernetes在AI/大数据领域的最新进展与大规模实践
|
大数据 网络性能优化 数据库
容器开启数据服务之旅系列(三):Kubernetes QoS助力在线运用与大数据离线运用的混部
# 容器开启数据服务之旅系列(三) ###(三):Kubernetes QoS助力在线运用与大数据离线运用的混部 ### 概述 本文是2018年大数据峰会上的一些分享,关于在线业务,离线业务在ACK(阿里云容器服务Kubernetes)的平台上通过对namespace, cgroup, quota的灵活组合完成在线,离线业务场景的混合部署,来提高总体资源的使用率,以及支资源限制动
1369 0
|
Kubernetes 大数据 测试技术
容器开启数据服务之旅系列(四):Kubernetes QoS 助力在线运用与大数据离线运用的带宽控制和磁盘控制
本文是2018年大数据峰会上的一些分享,关于在线业务,离线业务在ACK(阿里云容器服务Kubernetes)的平台上通过对bandwidth, disk quota的灵活组合完成在线,离线业务场景的混合部署,来提高总体资源的使用率,以及带宽,本地盘资源的动态分配调整,来控制离线,在线资源水位。
2616 0
|
15天前
|
运维 Kubernetes 监控
Kubernetes 集群的持续性能优化实践
【4月更文挑战第26天】 在动态且不断增长的云计算环境中,维护高性能的 Kubernetes 集群是一个挑战。本文将探讨一系列实用的策略和工具,旨在帮助运维专家监控、分析和优化 Kubernetes 集群的性能。我们将讨论资源分配的最佳实践,包括 CPU 和内存管理,以及集群规模调整的策略。此外,文中还将介绍延迟和吞吐量的重要性,并提供日志和监控工具的使用技巧,以实现持续改进的目标。
|
1天前
|
存储 运维 监控
Kubernetes 集群的持续监控与性能优化策略
【5月更文挑战第11天】在微服务架构日益普及的当下,Kubernetes 已成为容器编排的事实标准。随着其在不同规模企业的广泛采用,如何确保 Kubernetes 集群的高效稳定运行变得至关重要。本文将探讨一套系统的 Kubernetes 集群监控方法,并结合实践经验分享针对性能瓶颈的优化策略。通过实时监控、日志分析与定期审计的结合,旨在帮助运维人员快速定位问题并提出解决方案,从而提升系统的整体表现。
|
3天前
|
Kubernetes Java API
Kubernetes详解(三)——Kubernetes集群组件
Kubernetes详解(三)——Kubernetes集群组件
13 1
|
8天前
|
运维 监控 Kubernetes
Kubernetes 集群的监控与维护策略
【5月更文挑战第4天】 在当今微服务架构盛行的时代,容器化技术已成为软件开发和部署的标准实践。Kubernetes 作为一个开源的容器编排平台,因其强大的功能和灵活性而广受欢迎。然而,随着 Kubernetes 集群规模的扩大,集群的监控和维护变得日益复杂。本文将探讨 Kubernetes 集群监控的重要性,分析常见的监控工具,并提出一套有效的集群维护策略,以帮助运维人员确保集群的健康运行和高可用性。
39 10

热门文章

最新文章