阿里云StreamCompute流计算架构-阿里云开发者社区

开发者社区> 一叶布衣> 正文

阿里云StreamCompute流计算架构

简介: 阿里云流计算全流程系统架构,主要包含:数据采集,流数据,流计算,数据源,数据消费这些过程。
+关注继续查看

下图为阿里云流计算全流程系统架构,主要包含:数据采集,流数据,流计算,数据源,数据消费这些过程。
image.png

datahub算是一个通用数据分发平台。
StreamCompute应该是实时的消费数据流
MaxCompute是非实时的
区别主要是因为两个系统引擎:StreamCompute是实时写入查询,MaxCompute是批量插入离线计算

数据采集
用户可以使用流式数据采集工具将数据流式且实时地采集并传输到大数据Pub/Sub系统,该系统将为下游流计算提供源源不断的事件源去触发流式计算作业的运行。

阿里云大数据生态中提供了诸多针对不同场景领域的流式数据Pub/Sub系统,以方便用户可以集成各类流式数据存储系统。

流数据
流数据作为流计算的触发源驱动流计算运行。

一个流计算作业必须至少使用一个流数据作为数据源头。

流数据的承载方式包括:DataHub,LogService,IOTHub,DTS,MQ等。其中针对XX的业务场景,DataHub流数据处理平台作为数据源头比较适合,但是数据写入DataHub私有云提供方目前无自动化的采集工具可以使用,需要开发力量额外编写Java代码进行写入。

流式计算
流式计算可将源头流数据实时计算处理。

阿里云流计算支持针对多条数据流使用BlinkSQL进行关联操作。

流式计算大部分计算逻辑均在StreamCompute流计算平台内编写统计、计算SQL完成,再之后以运维任务的方式启动并长期在线运行。

结果数据集成至数据源
为尽可能减少数据处理时延,同时减少数据链路复杂度。

阿里云流计算将计算的结果数据可不经其他过程直接写入目的数据存储,从而最大程度降低全链路数据时延,保证数据加工的新鲜度。

阿里云流计算集成了OLTP(RDS产品线等)、NoSQL(OTS等)、OLAP(ADS等)、MessageQueue(DataHub、ONS等)、MassiveStorage(OSS、MaxCompute等)。

之前的测试中,我们使用ADS分析型数据库作为结果计算数据的存储。

数据消费
流式计算的结果数据进入各类数据存储后,用户可以使用各类个性化的应用消费结果数据,也可以将计算结果用于数据展示系统。
————————————————
原文链接:https://blog.csdn.net/allensandy/article/details/93077672

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云数据中台发布智能风控引擎Quick Decision和隐私计算DataTrust,升级品牌主张
阿里云数据中台产品矩阵再丰富, Quick Decision和DataTrust双产品公开亮相,同时发布全新品牌视频,升级品牌主张!
13509 0
《Kafka Stream》调研:一种轻量级流计算模式
流计算,已经有Storm、Spark,Samza,包括最近新起的Flink,Kafka为什么再自己做一套流计算呢?Kafka Stream 与这些框架比有什么优势?Samza、Consumer Group已经包装了Kafka轻量级的消费功能,难道不够吗? 花了一些时间阅读[docs](http
23836 0
MaxCompute携手ofo小黄车与阿里妈妈—邀你共赴大数据计算北京高端峰会(含技术干货整理)
ofo小黄车如何通过MaxCompute轻松处理每天千万订单,提升线下运营效率50%以上,提升整体运行效率76%? 阿里妈妈在搜索广告、定向广告、达摩盘、报表和BI分析等常见场景下是如何使用MaxCompute的? Noxmobi自建业界领先的DSP、SSP、ADX等广告系统,其中最重要的底层数.
3827 0
OpenStack Icehouse neutron-networking 架构 新增计算节点操作详解
新增计算节点 官方教程中只包含三个节点,所以根据实际需求我们需要增加计算节点,以创建更多的虚拟机。 1.配置网络 需要配置两个网卡 网卡配置   【eth0】    IP:10.
1218 0
Gartner首推机密计算:阿里云名列其中
近日,全球信息技术研究机构Gartner发布了2019年云安全技术成熟度曲线报告(Gartner, Hype Cycle for Cloud Security, 2019, Jay Heiser, Steve Riley, 23 July 2019),首次将机密计算列入其中,阿里云因在机密计算领域的诸多实践被列为典型厂商,且是亚太唯一云服务商。
3012 0
函数计算搬站新利器---Custom Runtime演示
功能介绍 今天在函数计算上实现一个Web站点是比较简单的,比如: 部署基于 python wsgi web 框架的工程到函数计算 介绍的用WSGI框架结合函数计算部署Python的Web App。最近函数计算发布了一个新功能,使得搬站进一步简化了。
2208 0
+关注
3
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载