阿里云流计算产品介绍|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习阿里云流计算产品介绍

开发者学堂课程【阿里云流计算使用教程阿里云流计算产品介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/432/detail/5381


阿里云流计算产品介绍


 内容介绍

一、产品历程

二、产品特点

三、流计算产品-SQL 样例

四、产品现状

五、流计算产品-产品架构

 

一、产品历程

阿里云流计算脱胎于阿里集团内部双十一实时大屏业务,在阿里集团内部从最开始支持双十一大屏展现和部分实时报表业务的实时数据业务团队,历经4-5年的长期摸索和发展,到最终成长一个独立稳定的云计算产品团队。

image.png

此图为阿里云产品的历程以及背景

image.png

此图为2011年到2016年产品发展历程,从项目支撑到产品沉淀,再到产品云化以及对外输出

 

二、产品特点

1.以下为产品的核心竞争力和优势:

image.png

(1).功能强大:强人流计算引擎,支持流式 SQL:丰富数据采集工具;深度整合各类云存储

(2)功能优越:关键指标超越 Storm 的性能6到8倍,秒级乃至毫秒级延迟,单个作业吞吐量可做到百万级别

(3)简单易用:支持流式数据分析 SQL;提供全流程的流计算开发套件

(4)成本廉价:开发流程化、计算弹性化;可有效降低使用开源软件的人力和机器成本

2.特点:

数据生态 上下游打通

多租户资源隔离

线上优化  如果落后节点处理

开发调试,性能调优

在线/离线 集成与切换

多容错策路 灵活权衡性能、成本和恢复效

描述性语言支持和优化

 

三、流计算产品-SQL 样例

某网站需要对访问来源进行分析:

从日志服务读取该站点访问日志,解析日志中的来源并检查来源是否在感兴趣的网站列表中(类似来源网站的白名单,保存在 OTS 中),统计来自各个网站的流量 PV,最终结果写出到 RDS

整个流程即为日志服务到流式数据到流计算,计算结果,将结果保存到 RDS 中去。

 

四、产品现状

下图主要描述 SQL 中的关键字、主要操作符和内键函数。

主要包括:算术运算,关系运算,逻辑运算,条件函数,数学函数,日期函数,字符串函数,聚合函数,UDF 支持等。

image.png

 

五、流计算产品-产品架构

image.png

中间部分是阿里云的流计算,分为上游和下游,从上游的 Datahub、日志服务、消息服务、消息队列、IOT 套件,将数据传到阿里云流计算,通过其计算来到下游平台数据库存储。

阿里云流计算从最底层集群管理和分布式文件系统再到引擎、元数据到语言&API 算子、容错状态管理,再到运维管理最后到达上层的 REST-API,以及集成开发平台等整个构架构成阿里云流计算。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
存储 边缘计算 运维
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
63 2
|
4月前
|
存储 数据采集 分布式计算
阿里巴巴数据仓库实践:从离线到实时的一体化探索
阿里巴巴的数据仓库实践从离线到实时的一体化探索,不仅为企业自身业务的快速发展提供了有力支撑,也为行业树立了标杆。通过不断优化技术架构、提升数据处理能力、加强数据治理和安全管理,阿里巴巴的实时数仓将为企业创造更大的价值,推动数字化转型的深入发展。未来,随着技术的不断进步和业务的持续拓展,阿里巴巴的实时数仓实践将展现出更加广阔的应用前景和发展空间。
|
5月前
|
存储 SQL 搜索推荐
一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01
一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01
|
SQL 存储 分布式计算
Flink 流批一体在 Shopee 的大规模实践
Shopee 研发专家李明昆在 Flink Forward Asia 2022 流批一体专场的分享。
10318 0
Flink 流批一体在 Shopee 的大规模实践
|
SQL 存储 消息中间件
小米基于 Flink 的实时数仓建设实践
本次分享围绕小米在实时数仓方面的探索与实践展开,主要涉及:Flink+Iceberg 实时数仓架构升级,稳定性与实时性优化;基于当前 Flink 实时数仓的不确定性问题,介绍 Merge into 功能和算子级状态清理的解决方案。
7927 0
小米基于 Flink 的实时数仓建设实践
|
数据采集 人工智能 监控
【最佳实践】实时计算Flink在广告行业的实时数仓建设实践
通过每个广告位上不同广告的投放地区、广告ID、设备唯一编码等信息,可以统计点击次数、投放次数等指标,可用于制定更高效的广告投放策略,降低投放成本,提高广告收益。
|
大数据 流计算
《基于流计算构建实时大数据处理系统》电子版地址
基于流计算构建实时大数据处理系统
88 0
《基于流计算构建实时大数据处理系统》电子版地址
|
存储 弹性计算 数据管理
直播预告|数据仓库?数据湖?停止纠结,流批融合的极速 Lakehouse来了!
无需数据导入,即可体验性能堪比数仓的数据湖分析!2022年12月8日19点,StarRocks Lakehouse Meetup - 极速湖仓分析技术专场线上直播重磅开启,精彩不容错过!
442 0
直播预告|数据仓库?数据湖?停止纠结,流批融合的极速 Lakehouse来了!
|
存储 监控 物联网
阿里云流计算应用场景|学习笔记
快速学习阿里云流计算应用场景
485 0
阿里云流计算应用场景|学习笔记
|
JSON 运维 搜索推荐
阿里云实时数仓Hologres年度发布,解读数仓新趋势
阿里云实时数仓Hologres年度发布,解读数仓新趋势
2539 1
阿里云实时数仓Hologres年度发布,解读数仓新趋势