DataFlux:实时数据应用的新选择——阿里云 MVP蒋烁淼

简介: DataFlux 是驻云推出的统一实时大数据平台,其通过技术手段充分发挥实时数据价值,面向企业提供全场景的数据洞察分析处理能力。DataFlux强大的专业数据接入实现面向业务的多场景支持,以其高可定制性为企业实现将一切业务连接的可能。在直播中,驻云科技CEO蒋烁淼介绍了实时大数据平台DataFlux的相关功能和应用,阿里云数据库事业部 NoSQL产品部总经理叶翔为大家介绍了企业级云原生数据库。

【MVP时间】线上峰会,一键收藏

《DataFlux--开启全新实时数据应用方式》精彩直播

查看文章,《DataFlux--开启全新实时数据应用方式——企业级云原生数据库介绍》

一、DataFlux

(一)实时数据

什么是实时数据?它指的是数据的接入是实时的,转换是实时的,计算是实时的,最后BI(Business Intelligence)也是实时的。那么我们为什么需要实时数据呢?

如下图所示,图中左边是传统的数据处理的一个流程,右边是加入实时数据之后整个数据应用的流程。从根本上来说,只有实时数据才能驱动业务,因为所有的业务系统本质上都是一个实时系统,数据不再是简单地进行数据分析、整理报表使用。在用实时数据驱动业务之后,将会对现有业务产生较大的改变,直接用(现在的)数据驱动业务而不是用过去(数据)驱动业务,大大提升了业务运转效率。

image.png

(二)DataFlux简介

DataFlux 是驻云推出的统一实时大数据平台,首先它是一个产品,而不仅仅是一个技术,不是简单的技术堆积,而是针对业务中的痛点问题提供针对性的解决方法。DataFlux是一个很完整的产品,所用到的技术包括InfluxDB、MySQL、Redis等等,但是用户可以不需要考虑这些技术问题,而只需要去使用即可,因为DataFlux提供了完整的解决方案。有需要的用户可以很方便的在容器市场购买进行安装即可。

从服务提供商的角度思考,客户需要什么样的数据产品呢?当前,很多开发者和客户被大量的开源技术和产品弄得眼花缭乱,不知道自己真正需要的是什么样子的产品。蒋总认为好的数据产品应该有以下四点特性:

  • 简单好用:安装简单,用户不需要专业的知识即可安装使用,做到开箱即用。
  • 面向业务:数据能直接解决业务问题。
  • 性价比高:价格不能凌驾于价值。
  • 面向未来:避免重复投资,拥抱未来科技。

(三)DataFlux的核心模块及特性

DataFlux在设计之初就考虑到了以上几个问题,每个模块都有着极为优秀的特性。目前,DataFlux主要有以下几大功能模块:

(1)实时汇聚数据

实时数据汇聚模块可以通过非常简单的配置来快速收集大量的实时数据,为业务系统开足马力供能,主要有以下特性:

  • 快速接入:通过DataFlux的DataKit进行简单配置即可快速获得实时数据,数据采集变得非常轻松可靠。
  • 全面完整:目前DataFlux可以对接超过400中数据协议,机器设备数据,业务数据,I/P/Saas数据,用户行为数据,爬虫数据等都可以快速收集。
  • 性能优异:得益于整体的架构设计,一套DataFlux可支持超过每秒50万以上的数据写入,并可以保持实时,同时如果进行水平扩展将支持更高能力。
  • 跨越网络:DataFlux DataWay的设计方式可以支持从复杂的网络结构,多层网络结构,跨国网络中轻松实时汇聚数据,并且安全可靠无需昂贵的网络成本。

(2)实时在线多维度分析

从产品角度来说DataFlux是一个端到端的产品,所有收集到的数据都可以实时在线进行多维度分析,给客户提供一个真正的RealBI产品,其主要特点包括以下几点:

  • 在线的数据实时查询
  • 多维度数据实时分析(RealBI)
  • 利用场景与节点快速构建数据驾驶舱
  • 友好的查询支持,无需SQL能力
  • 大量专业图标内置,轻松表达数据
  • 内置大量数据函数,像Excel一样简单

(3)实时异常检测

实时数据最核心的应用就是异常检测,因为数据是实时的,在检测到异常的第一时间发出报警,可以避免对业务的重大损失并且提醒用户及时处理异常。

DataFlux的异常检测与传统的监控软件的异常检测区别在于异常检测函数可以自定义,而且不仅仅是简单的阈值检测,比如依靠专家系统来预测磁盘空间故障的发生等。该模块的主要功能特点如下:

  • 可以支持多指标的实时异常检测
  • 支持通过多阈值计算来进行数据检测
  • 支持自定义预测函数实现预测
  • 支持通过数据模型,神经网络进行检测
  • 可以灵活设定检测后的行为

(4)关键事件定位

关键事件定位也是DataFlux的一个核心功能。关键事件指的是能够改变实时数据走势的事件,因为它一般是突发的且不受前面的数据影响,因此很难被预测,属于“黑天鹅”事件。关键事件对其之后的数据走势影响非常大,因为对关键事件的收集也相当重要。通过DataFlux关键事件定位模块我们可以通过DataKit捕捉关键事件,也可以通过异常检测自动产生关键事件,这样便能快速发现趋势变化时候的关键因素,实时的掌握关键事件,从而快速做出响应。

(5)DataFlux Function

DataFlux Function是一个集成到实时数据开发中的应用平台,可以认为是一个在线的Python IDE,实际上是完全封装的一个沙箱环境,用来支撑DataFlux的运转,其主要功能特性如下:
 支持自定义的数据分析
 支持自定义的异常检测/时序预测
 支持将数据实时导出到其他平台
 支持通过数据驱动业务平台
 支持将实时数据的开发及算法发布成API,实现自定义的数据API平台

除了以上模块,DataFlux还包括以下三个比较重要的模块:DataFlux DataWay、DataFlux Datakit、DataFlux WareHouse,他们的主要功能特点如图所示。DataFlux Studio、DataFlux Function和DataFlux Mobile三个平台构成了DataFlux的整个产品。

image.png

(四)DataFlux的应用场景

DataFlux具有众多优点,那么其主要适用什么场景呢?我们将DataFlux定位为一个Paas+Saas的平台,其适用于包括如下图所示的众多场景。

image.png

以上是对DataFlux的简单介绍,包括DataFlux的核心模块以及功能特性。当前,大家可以通过以下两种渠道来获取DataFlux:

  1. 在www.DataFlux.cn上进行注册即可免费使用Saas版本。
  2. 在阿里云上购买相应的产品,包括DataFlux Professional。
    需要注意的是Professional才可以有Function功能,而Saas版本中的Function功能是由官方来提供的

(五)DataFlux以及DataFLux Professional的主要优势

(1)DataFlux.cn的主要优点:

  • 更多数据源:支持超过400种数据采集,远超普通开源数据采集工具,涵盖云端、应用、日志等。
  • 更便宜:SaaS即开即用为自己搭建成为的30%,无运维成本、资金投入只有传统大数据平台的20%。
  • 更好用:全中文化,所有采集器配有安装配置文档,7*24服务支持,内置多样场景模板及丰富图表样式。

(2)DataFLux Professional的强大之处:

  • 专业数据接入:将会接入更多的专业数据,几乎用户想象到的数据都会接入,比如车辆的OBD等。
  • 多业务场景支持:会有更多的创新场景支持,包括金融领域等。
  • 高可定制型:拥有非常高的定制型,而且任何形态的定制完成时间非常短。
  • 连接一切业务:该版本所拥有Function功能使得用户几乎可以连接一切业务。

大家可以从官方网站和阿里云的云市场更多地了解DataFlux,未来我们也会在阿里云的开发者社区更新更多的资料来帮助用户快速入门DataFlux。

《DataFlux--开启全新实时数据应用方式》精彩直播

查看续集文章,《DataFlux--开启全新实时数据应用方式》

目录
相关文章
|
18天前
招募!阿里云x魔搭社区发起Create@AI创客松邀你探索下一代多维智能体应用
招募!阿里云x魔搭社区发起Create@AI创客松邀你探索下一代多维智能体应用
303 0
|
1月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
1月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110140 118
阿里云DMS,身边的智能化数据分析助手
|
2月前
|
弹性计算 人工智能 安全
带你读《从基础到应用云上安全航行指南》——阿里云产品专家教你如何全方位构建ECS安全体系(3)
带你读《从基础到应用云上安全航行指南》——阿里云产品专家教你如何全方位构建ECS安全体系(3)
434 0
|
2月前
|
监控 机器人 数据处理
5 天学会阿里云 RPA:教育行业应用
在数字化时代,教育行业也在迅速发展和创新。为了提高教育管理效率、优化教学过程和提升学生体验,越来越多的教育机构开始采用智能自动化技术。阿里云 RPA(机器人流程自动化)作为一种先进的技术手段,正逐渐在教育行业中得到广泛应用。
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
718 2
|
2月前
|
弹性计算 安全 网络安全
带你读《从基础到应用云上安全航行指南》——阿里云产品专家教你如何全方位构建ECS安全体系(2)
带你读《从基础到应用云上安全航行指南》——阿里云产品专家教你如何全方位构建ECS安全体系(2)
480 0
|
10天前
|
人工智能 Serverless 数据处理
利用阿里云函数计算实现 Serverless 架构的应用
阿里云函数计算是事件驱动的Serverless服务,免服务器管理,自动扩展资源。它降低了基础设施成本,提高了开发效率,支持Web应用、数据处理、AI和定时任务等多种场景。通过实例展示了如何用Python实现图片压缩应用,通过OSS触发函数自动执行。阿里云函数计算在云计算时代助力企业实现快速迭代和高效运营。
46 0
|
15天前
|
云安全 数据采集 安全
阿里云安全产品,Web应用防火墙与云防火墙产品各自作用简介
阿里云提供两种关键安全产品:Web应用防火墙和云防火墙。Web应用防火墙专注网站安全,防护Web攻击、CC攻击和Bot防御,具备流量管理、大数据防御能力和简易部署。云防火墙是SaaS化的网络边界防护,管理南北向和东西向流量,提供访问控制、入侵防御和流量可视化。两者结合可实现全面的网络和应用安全。
阿里云安全产品,Web应用防火墙与云防火墙产品各自作用简介
|
24天前
|
消息中间件 Kubernetes Kafka
Terraform阿里云创建资源1分钟创建集群一键发布应用Terraform 创建 Kubernetes 集群
Terraform阿里云创建资源1分钟创建集群一键发布应用Terraform 创建 Kubernetes 集群
17 0

热门文章

最新文章