云原生+微服务,实现「DataFlux」快速交付!

本文涉及的产品
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
简介:

DataFlux 是由驻云最新重磅打造一款实时大数据分析平台,可以通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值。

01_jpeg

为什么说是“实时”?

因为是实时的数据采集,通过自研的数据网关,实时打入 InfluxDB 时序数据库,依托于 InfluxDB 时序数据库的强大查询分析能力,实时数据分析展示。

为什么说是“统一”?

万物皆数据,数据皆可被采集。企业内,从员工考勤数据到 IT 设备数据,从客户关系数据到销售数据,从市场外部大环境数据到企业内部管理数据等,皆可汇聚,进行统一综合分析,提升数据价值。

五大硬核组件

  • 数据采集器:目前支持200多种数据的采集,还在大量开发扩充中。
  • 数据网关:数据的核心功能模块,采用 golang 语言开发,高效处理数据,并且有消息队列保障数据的可靠性与一致性。
  • DataFlux Studio:强大的场景构建能力,丰富的图表组件,随心所欲展示数据。
    02_jpeg
  • 函数开发平台:赋予用户无限扩展能力,可基于 Python 编写数据处理函数,简便易入手。与 DataFlux Studio紧密结合,进行数据预测分析,并且内置大量官方函数,也可以配合其他应用,作为其他应用的数据来源。
  • 强大的实时预警能力:可配置多指标实时检测,支持多种预警行为输出途径。

如何实现快速交付

DataFlux 强大的功能背后是运行着的几十个应用服务,这些应用服务如何稳定且高效有序运行,并且能够快速部署与持续交付,原因之一是 DataFlux 完全基于云原生的微服务架构。

PS:云原生是一种理念和应用交付模式,是一套技术体系和方法论,它充分发挥和利用云计算模型的优势构建和运行可弹性扩展的应用。云原生的三大特征:微服务化、容器化、动态管理。

03_jpeg

容器技术为基础,发挥资源最大力量

整个DataFlux 核心后面是运行着的几十个微服务,实现了使用不同开发语言开发、不同环境要求的应用服务在一个服务器上运行;搭配Kubernetes技术,动态资源编排与调度,最大化利用服务器资源。

但是如果只有 Kubernetes,我们还是无法快速的完成一套产品的交付,因为几十个应用服务需要手工创建和配置,也是一个巨大的工作量,那么如何解决这一个问题对于快速交付来说就至关重要。

自研工具,实现1+1>2

Kubernetes 可以使用 YAML语言去描述所有类型的资源,如 pvc、deployment、service、ingress、confiogmap等,再利用 kubectl (kubernetes 的命令行客户端工具)执行这些 YAML 文件的应用,去创建或修改资源。
04_jpeg

正是利用这一点,我们开发了一个DataFlux 的安装配置工具 Launcher,在准备好硬件资源的情况下,可以做到10分钟完成整个应用的部署与配置。整个安装过程变得非常简单,根据 Launcher 的引导步骤,完成MySQL数据库、Redis、InfluxDB 等信息的输入,Launcher 根据用户输入的信息,自动完成数据库表结构的初始化有及数据的初始化,并且根据准备好的模板自动生成Kubernetes 的 YAML资源描述文件,以及 DataFlux 的服务应用配置文件,然后利用 kubectl 命令行工具执行 YAML 文件的导入。

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
4月前
|
Cloud Native API
微服务引擎 MSE 及云原生 API 网关 2025 年 6 月产品动态
微服务引擎 MSE 及云原生 API 网关 2025 年 6 月产品动态
|
1月前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
7月前
|
Cloud Native API
微服务引擎 MSE 及云原生 API 网关 2025 年 3 月产品动态
微服务引擎 MSE 及云原生 API 网关 2025 年 3 月产品动态
|
8月前
|
Cloud Native API
微服务引擎 MSE 及云原生 API 网关 2025 年 2 月产品动态
微服务引擎 MSE 及云原生 API 网关 2025 年 2 月产品动态
|
4月前
|
缓存 Cloud Native Java
Java 面试微服务架构与云原生技术实操内容及核心考点梳理 Java 面试
本内容涵盖Java面试核心技术实操,包括微服务架构(Spring Cloud Alibaba)、响应式编程(WebFlux)、容器化(Docker+K8s)、函数式编程、多级缓存、分库分表、链路追踪(Skywalking)等大厂高频考点,助你系统提升面试能力。
234 0
|
6月前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 API 网关 2025 年 4 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
阿里云微服务引擎 MSE 及 API 网关 2025 年 4 月产品动态
|
7月前
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
430 12
|
7月前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2025 年 3 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要

热门文章

最新文章