三分钟带你了解一站式大数据平台运维管家 ChengYing 产品包制作

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,182元/月
简介: 本文为大家介绍开源项目一站式大数据平台运维管家ChengYing产品包制作

课件获取:关注公众号 “数栈研习社”,后台私信 “ChengYing” 获得直播课件

视频回放:点击这里

ChengYing 开源项目地址:github gitee 喜欢我们的项目给我们点个__ STAR!STAR!!STAR!!!(重要的事情说三遍)__

技术交流钉钉 qun:30537511

产品包的构成

01 产品包制作前置条件

在制作产品包之前,我们首先要完成以下3个步骤:

ChengYing已部署完成,ChengYing的部署内容可以参考【ChengYing安装原理】。

组件原料准备完成(组件原料主要是指已经编译完成的二进制包)。

当以上两个步骤完成之后,我们就可以开始产品包的制作。

02 产品包构成

产品包主要由schema.yml及各服务目录组成。Schema主要主要描述产品的组成,是一个编排文件,服务目录类似于工作目录,也有可能是静态组件,我们以下面两个产品包介绍为例:

● 基础服务包

上层应用所依赖的服务、例如mysql、zookeeper等服务,其目录结构如下:

file

● Java应用包

Java应用层产品包、包含的组件,前端,后端,sql组件、其目录结构如下:

file

Schema解析&产品包制作

接下来我们来重点了解下Schema相关的内容。

01 Schema解析

Schema.yml是整个产品包的核心文件,其内容主要描述了产品包里所有组件信息以及配置变量。

  • 产品所属父级名称(parent_product_name)
  • 产品名称(product_name)
  • 产品版本(product_version)
  • 服务名(service)

file

file

配置文件(application.properties)

file

schem语法参考:

https://dtstack.github.io/chengying-web/docs/chengyingDocs/introduction/schema

02 部署流程

部署流程在上述的Schema解析中都有体现,主要是以下流程:

● 安装(install)

从ChengYing服务端下载组件,并执行post_deploy.sh脚本,成功则进行下一步。

● 启动(running)

执行Schema文件中所定义的启动脚本,执行失败,脚本返回“1”则表示run failed ,反之则表示启动成功。

● 健康检查(healthy-check)

定时执行健康检查脚本(health.sh)。

案例分享

接下来为大家分享两个ChengYing产品包制作的案例

01 Base包制作

以Base产品包为例,其中主要包含zookeeper,mysql,mysql_slaves等组件。

1.官网下载二进制安装包

2.脚本编写(启动脚本,监控脚本,部署脚本)

3.提取参数,编写Schema

4.使用Mero工具制作产品包

产品包地址:

curl http://172.0.0.1:8864/api/v2/product/upload -F 'package=@DTBase_2.1.19.tar'

注意:IP为ChengYying所在服务的节点ip,产品包则是执行mero命令后所生成的文件

02 Taier产品包制作

Taier属于Java应用,前后端分离部署的架构模式。

1.下载前端代码,进行编译获取编译后的js文件

2.下载后端代码,进行编译后获取编译后jar包

3.按模块划分目录

4.提取参数,编写schema

5.使用mero工具制作产品包

产品包地址:

curl http://172.0.0.1:8864/api/v2/product/upload -F 'package=@Taier_4.2.1_rel.tar'

注意:IP为ChengYying所在服务的节点ip,产品包则是执行mero命令后所生成的文件

03 附录

● 关于Base产品包

Mysql二进制包:

https://downloads.mysql.com/archives/community/

Zookeeper二进制包下载:

https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/

● 关于Taier产品包

Taier源码下载:https://github.com/DTStack/Taier

前端编译命令:npm run build

后端编译命令:mvn clean package -DskipTests -T 1C -pl taier-data-develop,taier-common,taier-worker/taier plugins -am –amd

● Mero下载地址

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/mero

袋鼠云开源框架钉钉技术交流群(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack/Taier

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
6月前
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
377 0
|
5月前
|
人工智能 运维 自然语言处理
首个智能体模型实测:产品、开发、运维“全包了”
2025年,AI进入“动手”时代。智谱发布新一代大模型GLM-4.5,全球排名第三、国产第一,专为智能体设计,融合推理、编码与智能体能力,实现自主规划与执行任务。通过8个Demo展示其强大能力,涵盖网页设计、课件制作、小游戏开发等,展现其“带手的脑”特性,推动AI从实验室走向真实场景。
302 0
|
11月前
|
弹性计算 运维 自然语言处理
产品测评 | 感受操作系统智能助手OS Copilot新功能带来的运维效率飞升
近期,我再次评测了阿里云OS Copilot的新版本,发现其在命令执行、任务自动化、文件处理及知识问答等方面表现出色,特别是-t参数显著提升了70%的效率。使用过程中,我发现它不仅简化了复杂任务的处理,还提供了中文解释配置文件的功能,极大地方便了初学者。总结来看,OS Copilot极大地提升了Linux运维效率,但仍需在自然语言理解、用户界面优化和错误处理机制等方面进一步改进。未来若能支持更多操作系统并集成更多实用工具,必将成为Linux用户的得力助手。
|
9月前
|
运维 自然语言处理 算法
云栖实录 | 大模型在大数据智能运维的应用实践
云栖实录 | 大模型在大数据智能运维的应用实践
967 3
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
209 0
|
12月前
|
存储 分布式计算 Hadoop
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
Dataphin V4.4版本引入了多项核心升级,包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能,大幅提升数据处理与资产管理效率。此外,还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术,进一步优化用户体验。
1054 3
【产品升级】Dataphin V4.4重磅发布:开发运维提效、指标全生命周期管理、智能元数据生成再升级
|
12月前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
460 10
|
运维 监控 中间件
数据中心运维监控系统产品价值与优势
华汇数据运维监控系统面向IT基础架构及IT支撑平台的监控和运维管理,包含监测、分析、展现和告警。监控范围涵盖了网络设备、主机系统、数据库、中间件和应用软件等。
434 4

热门文章

最新文章