阿里云流计算应用场景|学习笔记

简介: 快速学习阿里云流计算应用场景

开发者学堂课程【阿里云流计算使用教程 阿里云流计算应用场景】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/432/detail/5384


阿里云流计算应用场景


 内容介绍

一、产品场景

二、流计算场景

 

一、产品场景

1.(1)实时 ETL

为流式数据提供实时清洗、转换、加载为下游构建实时的数据仓库,提供实时能力

(2)实时指标

提供流数据实时的分析、计算能力

提供实时化数据展示,为营销提供决策辅助

(3)实时监控

提供流数据实时的分析、监控

提供实时的数据监控、事件预警能力

2.(1)实时数仓

数据的实时清洗、归并、结构化

构建小型实时数仓

(2)流数据分析

实时计算相关指标反债及时调整决策  

内容投放、无线智能推送、实时个性化推荐等

(3)实时监控

对用户行为或相发事件进行实时检测和分析,基于风控规则进行预测。

用户行为预警,app crash 预警,服务器攻击预警

(4) 实时报表

双11、双12等活动直播大 屏

对外数据产品:数据魔方、生意参谋等

数据化运营

3. 不适用场景

0racle 存储过程使用阿里云流计算替换

现有的 Spark Streaming 作业无缝迁移到流计算

 

二、流计算场景

(一):日志案例

特点:

1运维部门建设实时化多样化的日志监控

2. 运营部门建设实时化业务化的营销大屏

(二)电商运营大屏

双十一、双十二屏幕实时监控、还有天气、防灾减震预测等

1.实时指挥监控

2.综合指标汇报

3.业务实时激励

数据走向 EDS,到达 RDS,到达 Datahub,后分为两个方向,一个是流计算,另外一个是定期归档 my computer,到达 RDS,将数据传到 BI、大屏和在线业务。

(三)物联网数据分析

特点:

1. IOT 数据实时

2流式指标监控

3.实时数据清洗

image.png

物联网数据分析的整体走势为 DS 到 IOT 套件,将数据存储到 DataHub 后计入流计算,将数据传输到 RDS 数据库,将数据反馈到页面,会有故障预测、故障预警、流量预测、实时汇总统计、下控设备等。

(四)实时数仓

特点:

1.实时数据化分析

2.及时市场化决策

image.png

流式数据采集进入 Datahub,进入流计算,进行分析计算,将其存到两个数据库中,通过数据库信息就可以获得信息走向,便于决策。

相关文章
|
3月前
|
存储 边缘计算 运维
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
61 2
|
3月前
|
搜索推荐 OLAP 流计算
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
52 1
|
5月前
|
存储 SQL 消息中间件
Hologres+Flink企业级实时数仓核心能力介绍
通过Hologres+Flink构建易用、统一的企业级实时数仓。
|
4月前
|
传感器 大数据 数据处理
大数据处理中的流计算技术:实现实时数据处理与分析
【7月更文挑战第30天】随着分布式系统、云原生技术、数据安全与隐私保护技术的不断发展,流计算技术将在更多领域得到应用和推广,为大数据处理和分析提供更加高效、智能的解决方案。
|
5月前
|
边缘计算 搜索推荐 物联网
实时数据处理:流计算的兴起
【6月更文挑战第15天】**流计算兴起应对实时数据挑战:** 流计算是数字化时代实时数据处理的关键,它提供低延迟分析,确保数据产生时即进行处理。这种技术强调数据流的连续性,采用分布式架构实现高效、弹性且容错的数据处理。应用场景包括物联网分析、金融交易、日志监控及实时推荐系统。未来,流计算将融合AI、边缘计算,支持多源数据,并加强安全性,成为大数据处理的重要趋势。
|
6月前
|
存储 消息中间件 Kafka
流式湖仓增强,Hologres + Flink 构建企业级实时数仓
2023 年 12 月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时数仓 Hologres 研发负责人姜伟华现场分享 Hologres+Flink 构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新、实时查询。
120942 107
流式湖仓增强,Hologres + Flink 构建企业级实时数仓
|
6月前
|
存储 消息中间件 Kafka
实时湖仓增强,Hologres + Flink构建企业级实时数仓
本文主要介绍Hologres+Flink构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新、实时查询。
|
SQL 存储 消息中间件
Flink+StarRocks 实时数据分析新范式
StarRocks 社区技术布道师谢寅,在 Flink Forward Asia 2022 实时湖仓的分享。
1731 2
Flink+StarRocks 实时数据分析新范式
|
SQL 存储 机器学习/深度学习
应用场景与实时计算 Flink 版产品介绍 | 学习笔记
快速学习应用场景与实时计算 Flink 版产品介绍,介绍了应用场景与实时计算 Flink 版产品介绍系统机制, 以及在实际应用过程中如何使用。
应用场景与实时计算 Flink 版产品介绍 | 学习笔记
|
大数据 流计算
《基于流计算构建实时大数据处理系统》电子版地址
基于流计算构建实时大数据处理系统
87 0
《基于流计算构建实时大数据处理系统》电子版地址
下一篇
无影云桌面