QingHub企业级应用作业编排

本文涉及的产品
应用实时监控服务-应用监控,每月50GB免费额度
云原生网关 MSE Higress,422元/月
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: QingHub作业编排中心是一个通过插件化方式,提供数据从采集,转化,计算,存储为一体的全流程数据处理方案,他一方面为前端应用提供数据源,同时也为前端应用与数据源头的通信搭建起桥梁,实现数据的双向沟通,适合任何业务应用数据采集,数据库数据采集,网站数据抓取,物联网设备数据采集,其中预置的HTTP协议,TCP协议,MQTT协议,OPC协议,Modbus协议等可以快速的实现物联设备数据的采集,以及上下行数据数据通信。预置的大量数据库数据的同步采集组件,可以快速实现数据融合汇聚。

QingHub作业编排中心是一个通过插件化方式,提供数据从采集,转化,计算,存储为一体的全流程数据处理方案,他一方面为前端应用提供数据源,同时也为前端应用与数据源头的通信搭建起桥梁,实现数据的双向沟通,适合任何业务应用数据采集,数据库数据采集,网站数据抓取,物联网设备数据采集,其中预置的HTTP协议,TCP协议,MQTT协议,OPC协议,Modbus协议等可以快速的实现物联设备数据的采集,以及上下行数据数据通信。预置的大量数据库数据的同步采集组件,可以快速实现数据融合汇聚。

QingHub作业编排中心底层采用master,worker的方式,理论上可以无限制扩展多节点,解决数据采集传输过程中的大数据量处理瓶颈问题。  架构上,支持独立执行,嵌入式执行,核心功能通过开发独立组件,轻量级的数据解析,转换组件可以直接采用脚本的方式在线编码,应对复制多变的应用场景。

组件管理

QingHub 广场有足量的系统预置作业组件能满足普通场景的需求,同时用户可自定义新增作业组件。已发布的组件可完成数据开发作业的搭建满足各种协议的数据采集等场景的应用。

组件信息的维护:

  • 组件的新增
  • 编辑
  • 新建版本
  • 发布
  • 上架
  • 下架
  • 删除

作业编排

通过组件化、可拖拽、可配置的方式创建数据开发作业。提供丰富的组件库供用户使用。组件默认为最新版本,按用户需要也可以切换使用旧版本。

作业编辑器页面介绍

作业编辑器分为6大区域:

  • 功能控件:设有7个功能按钮:应用、作业、部署3个公共的功能按钮 ;停止、保存、发布、一键换肤的作业相关的功能按钮。
  • 主组件工具栏:组件、执行空间、作业。
  • 作业列表:作业数据的管理。
  • 操作面板:创建作业后,页面中间的白色画板为作业操作区域,可拖拽组件并关联组件的关系。
  • 组件编辑面板:当我们在操作面板中任意选中一个组件时,右侧弹出组件相关属性。
  • 运行结果:启动作业或组件时,能实时查看运行结果和日志。

作业编排详细操作请参见QingHub操作手册。

【QingHub企业级应用作业编排】可配合Qinghub Studio 其他几个模块配合工作,但同时也可以独立的为用户提供服务,没有强依赖关系。相关模块参见

【QingHub企业级应用统一部署】

QingHub企业级应用开发管理】

相关文章
|
23天前
|
运维 Kubernetes Serverless
阿里云Argo X K8s玩转工作流引擎,实现大规模并行计算
本文基于2024云栖大会田双坤的演讲,介绍了Kubernetes作为云原生操作系统的角色及其在各类任务中的应用,重点探讨了Argo Workflows在Kubernetes上编排并行任务的能力。面对自建Argo Workflows的挑战,如稳定性、成本和安全性等问题,阿里巴巴云推出了全托管的Serverless Argo工作流,提供全托管、免运维、可观测和易集成的特点,显著提升了任务编排的效率和稳定性。适用于数据处理、科学计算、自动驾驶仿真等多个领域。
|
6月前
|
弹性计算 运维 Kubernetes
实践篇:灵活调度,高效编排,容器化管理云上应用
【7月更文第8天】阿里云容器服务Kubernetes版(ACK)作为业界领先的容器管理和编排服务,凭借其强大的技术实力和丰富的云服务生态,为企业级用户提供了一系列卓越的优势,助力现代化应用的快速构建、部署与运维。
117 1
|
3月前
|
资源调度 监控 调度
HPC高性能计算场景中如何实现“运行时调度”
在HPC高性能计算中,使用LSF或Slurm提交作业虽方便,但过程往往不可控,作业运行如同黑盒,失败后才能排查问题。为此,MMCloud提出“运行时调度”理念,实现在任务运行过程中进行智能资源调度,最大化资源利用并优化成本效益。与传统工具不同,MMCloud能够实时监控任务状态,并根据算力需求动态调整资源分配。
74 0
|
3月前
|
运维 Kubernetes 数据处理
阿里云Argo X K8s玩转工作流引擎,实现大规模并行计算
Kubernetes已经成为事实的云原生操作系统,成为业务上云、容器化的标准。从过去无状态应用、企业核心应用,到现在AI时代的数据处理、AI训练、科学仿真等,越来越多的离线任务跑在K8s上。
|
6月前
|
运维 监控 调度
《<灵活调度,高效编排,容器化管理云上应用>解决方案测评》
在这次测评中,聚焦于技术细节、引导帮助、代码示例、容器托管优势及云产品体验五大方面。技术细节展示出色但需深化复杂场景的优化策略;文档和引导能满足基本需求,但关键步骤应增强提示;代码示例有价值,但遇到实际使用问题;容器化托管带来快速部署、资源隔离和自动化管理的优势,受到高度评价;云产品功能齐全,性能良好,但高级功能配置和手册可读性有待提升。总体而言,解决方案有亮点,期待持续改进。
185 13
《<灵活调度,高效编排,容器化管理云上应用>解决方案测评》
|
8月前
|
NoSQL Java 关系型数据库
写好一篇文章,有哪些好的工具和编排技巧?
写好一篇文章,有哪些好的工具和编排技巧?
131 0
|
7月前
|
分布式计算 资源调度 监控
分布式资源管理和调度架构
分布式资源管理和调度架构
|
8月前
|
运维 监控 数据可视化
QingHub企业级应用统一部署
企业级应用因其复制的的基础架构,需要各种各样的基础组件支撑,就算是一个简单的博客系统,小型网站,都需要前端开发,后台数据库,web服务器等。一般中小型软件平台就算单机部署也需要数种中间件,数据库的基础支持,更别说高可用配置,当然现在各种云平台,各种SAAS服务可能已经满足了部分业务需求,但高昂的费用,专业门槛差可能也会让大家十分困难做出正确的选择。
|
8月前
|
存储 分布式计算 监控
使用Airflow管理大数据工作流:自动化任务调度与依赖
【4月更文挑战第8天】Apache Airflow是一款开源的工作流管理工具,用于高效组织和调度大数据任务。它基于DAG(有向无环图)定义任务依赖,通过Operators(如BashOperator、PythonOperator)执行不同工作,并通过Scheduler和Executor协调任务执行。Web UI提供监控界面,Metadata DB存储元数据。创建DAG涉及定义DAG属性、Task及依赖关系,然后部署到Airflow环境。进阶功能包括Variables和Connections管理、XCom跨Task通信、自定义Operator及Plugin、高级调度与告警设置。
605 0
|
8月前
|
存储 Kubernetes Cloud Native
云原生离线工作流编排利器 -- 分布式工作流 Argo 集群
云原生离线工作流编排利器 -- 分布式工作流 Argo 集群
105260 2