开发者学堂课程【阿里云流计算使用教程: 阿里云流计算应用场景】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/432/detail/5384
阿里云流计算应用场景
内容介绍
一、产品场景
二、流计算场景
一、产品场景
1.(1)实时 ETL
为流式数据提供实时清洗、转换、加载为下游构建实时的数据仓库,提供实时能力
(2)实时指标
提供流数据实时的分析、计算能力
提供实时化数据展示,为营销提供决策辅助
(3)实时监控
提供流数据实时的分析、监控
提供实时的数据监控、事件预警能力
2.(1)实时数仓
数据的实时清洗、归并、结构化
构建小型实时数仓
(2)流数据分析
实时计算相关指标反债及时调整决策
内容投放、无线智能推送、实时个性化推荐等
(3)实时监控
对用户行为或相发事件进行实时检测和分析,基于风控规则进行预测。
用户行为预警,app crash 预警,服务器攻击预警
(4) 实时报表
双11、双12等活动直播大 屏
对外数据产品:数据魔方、生意参谋等
数据化运营
3. 不适用场景
0racle 存储过程使用阿里云流计算替换
现有的 Spark Streaming 作业无缝迁移到流计算
二、流计算场景
(一):日志案例
特点:
1运维部门建设实时化多样化的日志监控
2. 运营部门建设实时化业务化的营销大屏
(二)电商运营大屏
双十一、双十二屏幕实时监控、还有天气、防灾减震预测等
1.实时指挥监控
2.综合指标汇报
3.业务实时激励
数据走向 EDS,到达 RDS,到达 Datahub,后分为两个方向,一个是流计算,另外一个是定期归档 my computer,到达 RDS,将数据传到 BI、大屏和在线业务。
(三)物联网数据分析
特点:
1. IOT 数据实时
2流式指标监控
3.实时数据清洗
物联网数据分析的整体走势为 DS 到 IOT 套件,将数据存储到 DataHub 后计入流计算,将数据传输到 RDS 数据库,将数据反馈到页面,会有故障预测、故障预警、流量预测、实时汇总统计、下控设备等。
(四)实时数仓
特点:
1.实时数据化分析
2.及时市场化决策
流式数据采集进入 Datahub,进入流计算,进行分析计算,将其存到两个数据库中,通过数据库信息就可以获得信息走向,便于决策。