DataFlux:实时数据应用的新选择——阿里云 MVP蒋烁淼

简介: DataFlux 是驻云推出的统一实时大数据平台,其通过技术手段充分发挥实时数据价值,面向企业提供全场景的数据洞察分析处理能力。DataFlux强大的专业数据接入实现面向业务的多场景支持,以其高可定制性为企业实现将一切业务连接的可能。在直播中,驻云科技CEO蒋烁淼介绍了实时大数据平台DataFlux的相关功能和应用,阿里云数据库事业部 NoSQL产品部总经理叶翔为大家介绍了企业级云原生数据库。

【MVP时间】线上峰会,一键收藏

《DataFlux--开启全新实时数据应用方式》精彩直播

查看文章,《DataFlux--开启全新实时数据应用方式——企业级云原生数据库介绍》

一、DataFlux

(一)实时数据

什么是实时数据?它指的是数据的接入是实时的,转换是实时的,计算是实时的,最后BI(Business Intelligence)也是实时的。那么我们为什么需要实时数据呢?

如下图所示,图中左边是传统的数据处理的一个流程,右边是加入实时数据之后整个数据应用的流程。从根本上来说,只有实时数据才能驱动业务,因为所有的业务系统本质上都是一个实时系统,数据不再是简单地进行数据分析、整理报表使用。在用实时数据驱动业务之后,将会对现有业务产生较大的改变,直接用(现在的)数据驱动业务而不是用过去(数据)驱动业务,大大提升了业务运转效率。

image.png

(二)DataFlux简介

DataFlux 是驻云推出的统一实时大数据平台,首先它是一个产品,而不仅仅是一个技术,不是简单的技术堆积,而是针对业务中的痛点问题提供针对性的解决方法。DataFlux是一个很完整的产品,所用到的技术包括InfluxDB、MySQL、Redis等等,但是用户可以不需要考虑这些技术问题,而只需要去使用即可,因为DataFlux提供了完整的解决方案。有需要的用户可以很方便的在容器市场购买进行安装即可。

从服务提供商的角度思考,客户需要什么样的数据产品呢?当前,很多开发者和客户被大量的开源技术和产品弄得眼花缭乱,不知道自己真正需要的是什么样子的产品。蒋总认为好的数据产品应该有以下四点特性:

  • 简单好用:安装简单,用户不需要专业的知识即可安装使用,做到开箱即用。
  • 面向业务:数据能直接解决业务问题。
  • 性价比高:价格不能凌驾于价值。
  • 面向未来:避免重复投资,拥抱未来科技。

(三)DataFlux的核心模块及特性

DataFlux在设计之初就考虑到了以上几个问题,每个模块都有着极为优秀的特性。目前,DataFlux主要有以下几大功能模块:

(1)实时汇聚数据

实时数据汇聚模块可以通过非常简单的配置来快速收集大量的实时数据,为业务系统开足马力供能,主要有以下特性:

  • 快速接入:通过DataFlux的DataKit进行简单配置即可快速获得实时数据,数据采集变得非常轻松可靠。
  • 全面完整:目前DataFlux可以对接超过400中数据协议,机器设备数据,业务数据,I/P/Saas数据,用户行为数据,爬虫数据等都可以快速收集。
  • 性能优异:得益于整体的架构设计,一套DataFlux可支持超过每秒50万以上的数据写入,并可以保持实时,同时如果进行水平扩展将支持更高能力。
  • 跨越网络:DataFlux DataWay的设计方式可以支持从复杂的网络结构,多层网络结构,跨国网络中轻松实时汇聚数据,并且安全可靠无需昂贵的网络成本。

(2)实时在线多维度分析

从产品角度来说DataFlux是一个端到端的产品,所有收集到的数据都可以实时在线进行多维度分析,给客户提供一个真正的RealBI产品,其主要特点包括以下几点:

  • 在线的数据实时查询
  • 多维度数据实时分析(RealBI)
  • 利用场景与节点快速构建数据驾驶舱
  • 友好的查询支持,无需SQL能力
  • 大量专业图标内置,轻松表达数据
  • 内置大量数据函数,像Excel一样简单

(3)实时异常检测

实时数据最核心的应用就是异常检测,因为数据是实时的,在检测到异常的第一时间发出报警,可以避免对业务的重大损失并且提醒用户及时处理异常。

DataFlux的异常检测与传统的监控软件的异常检测区别在于异常检测函数可以自定义,而且不仅仅是简单的阈值检测,比如依靠专家系统来预测磁盘空间故障的发生等。该模块的主要功能特点如下:

  • 可以支持多指标的实时异常检测
  • 支持通过多阈值计算来进行数据检测
  • 支持自定义预测函数实现预测
  • 支持通过数据模型,神经网络进行检测
  • 可以灵活设定检测后的行为

(4)关键事件定位

关键事件定位也是DataFlux的一个核心功能。关键事件指的是能够改变实时数据走势的事件,因为它一般是突发的且不受前面的数据影响,因此很难被预测,属于“黑天鹅”事件。关键事件对其之后的数据走势影响非常大,因为对关键事件的收集也相当重要。通过DataFlux关键事件定位模块我们可以通过DataKit捕捉关键事件,也可以通过异常检测自动产生关键事件,这样便能快速发现趋势变化时候的关键因素,实时的掌握关键事件,从而快速做出响应。

(5)DataFlux Function

DataFlux Function是一个集成到实时数据开发中的应用平台,可以认为是一个在线的Python IDE,实际上是完全封装的一个沙箱环境,用来支撑DataFlux的运转,其主要功能特性如下:
 支持自定义的数据分析
 支持自定义的异常检测/时序预测
 支持将数据实时导出到其他平台
 支持通过数据驱动业务平台
 支持将实时数据的开发及算法发布成API,实现自定义的数据API平台

除了以上模块,DataFlux还包括以下三个比较重要的模块:DataFlux DataWay、DataFlux Datakit、DataFlux WareHouse,他们的主要功能特点如图所示。DataFlux Studio、DataFlux Function和DataFlux Mobile三个平台构成了DataFlux的整个产品。

image.png

(四)DataFlux的应用场景

DataFlux具有众多优点,那么其主要适用什么场景呢?我们将DataFlux定位为一个Paas+Saas的平台,其适用于包括如下图所示的众多场景。

image.png

以上是对DataFlux的简单介绍,包括DataFlux的核心模块以及功能特性。当前,大家可以通过以下两种渠道来获取DataFlux:

  1. 在www.DataFlux.cn上进行注册即可免费使用Saas版本。
  2. 在阿里云上购买相应的产品,包括DataFlux Professional。
    需要注意的是Professional才可以有Function功能,而Saas版本中的Function功能是由官方来提供的

(五)DataFlux以及DataFLux Professional的主要优势

(1)DataFlux.cn的主要优点:

  • 更多数据源:支持超过400种数据采集,远超普通开源数据采集工具,涵盖云端、应用、日志等。
  • 更便宜:SaaS即开即用为自己搭建成为的30%,无运维成本、资金投入只有传统大数据平台的20%。
  • 更好用:全中文化,所有采集器配有安装配置文档,7*24服务支持,内置多样场景模板及丰富图表样式。

(2)DataFLux Professional的强大之处:

  • 专业数据接入:将会接入更多的专业数据,几乎用户想象到的数据都会接入,比如车辆的OBD等。
  • 多业务场景支持:会有更多的创新场景支持,包括金融领域等。
  • 高可定制型:拥有非常高的定制型,而且任何形态的定制完成时间非常短。
  • 连接一切业务:该版本所拥有Function功能使得用户几乎可以连接一切业务。

大家可以从官方网站和阿里云的云市场更多地了解DataFlux,未来我们也会在阿里云的开发者社区更新更多的资料来帮助用户快速入门DataFlux。

《DataFlux--开启全新实时数据应用方式》精彩直播

查看续集文章,《DataFlux--开启全新实时数据应用方式》

目录
相关文章
|
3月前
|
存储 人工智能 物联网
FLUX第三弹:直面天命,FLUX.1-LoRA/IP-adapter「黑神话:悟空」生图实战
应近日来诸多社区开发者的学习诉求,特为大家推出一期 FLUX.1-LoRA/IP-adapter+ComfyUI +“顶流”IP「黑神话:悟空」的模型推理实战教程,玩转一把AI悟空生图 👀
|
数据可视化 开发者
《支付宝地推的设计故事-商服作业 CRM 设计-梦宛》演讲视频&文字版
《支付宝地推的设计故事-商服作业 CRM 设计-梦宛》演讲视频&文字版
142 0
|
人工智能 关系型数据库 分布式数据库
|
人工智能 边缘计算 安全
关于佛萨奇2.0“Meta Force原力元宇宙系统开发逻辑方案(详情)
Web2.0是Web的“可交互”阶段【180-系统3831-开发9724】,用户可以与网站或其他人进行交互和互动,就是如今的社交网络、移动网络、云计算等;
|
编解码 算法 物联网
【直播回放已上传】AliOS Things 组件玩法大爆炸,提需求有礼!!
1、2020年6月16日(周二)钉钉群直播,为您全面介绍AliOS Things组件能力。 2、AliOS Things产品研发团队喊你提需求啦,102个AOS-CUBE Cheat Sheet鼠标垫大放送!
【直播回放已上传】AliOS Things 组件玩法大爆炸,提需求有礼!!
|
数据采集 运维 监控
阿里云心选!「DataFlux」云时代的数据监控横空出世
IT发展以来,从个人电脑到云计算,唯一没有缺席的一个技术就是监控,当我们打开Windows任务管理器的时候看到CPU、内存就是监控,到我们今天大部分工程师打开云的控制台,大部分情况也是想要看对应产品的监控。
2133 0
阿里云心选!「DataFlux」云时代的数据监控横空出世
|
运维 Devops 测试技术
【直播回顾&资料下载】Work Like Alibaba第三期:揭秘双11背后的技术支撑
阿里巴巴逐年增加的双11营业额和不断创新的业务背后隐藏着怎样的秘密? 阿里走过的这18年,它用怎样的工作方法、工作形式打造出高效、创新的企业帝国?第三期Work Like Alibaba社区活动是线上直播活动持续进行,连续4场,10月19日、11月2日、11月9日每周四晚20:00我们在Work Like Alibaba直播间等你,一起探讨阿里巴巴多年先进的管理实践理念(精益创业、看板方法、Scrum、中台战略、狼团队)和工程实践(微服务、DevOps、CI/CD、自动化测试)。
12585 0
|
编解码 移动开发 前端开发
vivo 悟空活动中台-基于行为预设的动态布局方案
本文以“满屏”场景下的页面布局思考为切入点,以微组件为元素单元,提供了一种新的布局方案设计思路——基于行为预设的动态布局方案,并详细的分享了设计目的及具体实现方案,对技术基础要求不高,是一篇男女老少皆宜的“技术甜点”。
1013 0