阿里云流计算应用场景|学习笔记

简介: 快速学习阿里云流计算应用场景

开发者学堂课程【阿里云流计算使用教程 阿里云流计算应用场景】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/432/detail/5384


阿里云流计算应用场景


 内容介绍

一、产品场景

二、流计算场景

 

一、产品场景

1.(1)实时 ETL

为流式数据提供实时清洗、转换、加载为下游构建实时的数据仓库,提供实时能力

(2)实时指标

提供流数据实时的分析、计算能力

提供实时化数据展示,为营销提供决策辅助

(3)实时监控

提供流数据实时的分析、监控

提供实时的数据监控、事件预警能力

2.(1)实时数仓

数据的实时清洗、归并、结构化

构建小型实时数仓

(2)流数据分析

实时计算相关指标反债及时调整决策  

内容投放、无线智能推送、实时个性化推荐等

(3)实时监控

对用户行为或相发事件进行实时检测和分析,基于风控规则进行预测。

用户行为预警,app crash 预警,服务器攻击预警

(4) 实时报表

双11、双12等活动直播大 屏

对外数据产品:数据魔方、生意参谋等

数据化运营

3. 不适用场景

0racle 存储过程使用阿里云流计算替换

现有的 Spark Streaming 作业无缝迁移到流计算

 

二、流计算场景

(一):日志案例

特点:

1运维部门建设实时化多样化的日志监控

2. 运营部门建设实时化业务化的营销大屏

(二)电商运营大屏

双十一、双十二屏幕实时监控、还有天气、防灾减震预测等

1.实时指挥监控

2.综合指标汇报

3.业务实时激励

数据走向 EDS,到达 RDS,到达 Datahub,后分为两个方向,一个是流计算,另外一个是定期归档 my computer,到达 RDS,将数据传到 BI、大屏和在线业务。

(三)物联网数据分析

特点:

1. IOT 数据实时

2流式指标监控

3.实时数据清洗

image.png

物联网数据分析的整体走势为 DS 到 IOT 套件,将数据存储到 DataHub 后计入流计算,将数据传输到 RDS 数据库,将数据反馈到页面,会有故障预测、故障预警、流量预测、实时汇总统计、下控设备等。

(四)实时数仓

特点:

1.实时数据化分析

2.及时市场化决策

image.png

流式数据采集进入 Datahub,进入流计算,进行分析计算,将其存到两个数据库中,通过数据库信息就可以获得信息走向,便于决策。

相关文章
|
Linux 网络安全 Android开发
振南技术干货集:各大平台串口调试软件大赏(1)
振南技术干货集:各大平台串口调试软件大赏(1)
|
数据采集 机器学习/深度学习 人工智能
大数据分析案例-用RFM模型对客户价值分析(聚类)
大数据分析案例-用RFM模型对客户价值分析(聚类)
1979 0
大数据分析案例-用RFM模型对客户价值分析(聚类)
|
传感器 大数据 数据处理
大数据处理中的流计算技术:实现实时数据处理与分析
【7月更文挑战第30天】随着分布式系统、云原生技术、数据安全与隐私保护技术的不断发展,流计算技术将在更多领域得到应用和推广,为大数据处理和分析提供更加高效、智能的解决方案。
1219 3
|
6月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】HBase的逻辑存储结构
HBase的逻辑存储结构包括命名空间、表和列族。命名空间类似关系型数据库中的数据库,用于逻辑划分和隔离数据;表以RowKey组织数据并按字典序排列,分为多个Region实现分布式存储;列族包含列且无需预先定义,由MemStore缓存写入数据,定期刷新生成Store File。文章通过视频和代码示例详细讲解了各部分的操作与功能。
214 2
|
缓存 监控 Linux
在Linux中,如何看当前系统有几颗物理CPU和每颗CPU的核数?
在Linux中,如何看当前系统有几颗物理CPU和每颗CPU的核数?
|
算法 大数据
【科研入门】评价指标AUC原理及实践
该文介绍了二分类问题的评估指标,特别是AUC的概念和重要性。文章首先讲解了混淆矩阵,包括TP、FP、FN和TN的含义,然后讨论了准确率、精确率和召回率,并指出它们在处理不平衡数据集时的局限性。接着,作者解释了阈值对分类结果的影响以及如何通过调整阈值平衡精确率和召回率。最后,文章重点介绍了ROC曲线和AUC,说明AUC作为衡量模型性能的无参数指标,其值越接近1表示模型性能越好。AUC可以通过计算ROC曲线下的面积或比较样本对的预测得分来求得。
857 1
【科研入门】评价指标AUC原理及实践
|
存储 SQL 大数据
流计算迎来代际变革:流式湖仓 Flink + Paimon 加速落地、Flink CDC 重磅升级
2023 年 12 月 9 日,Flink Forward Asia 2023 在北京圆满结束。70+ 演讲议题、30+ 一线大厂技术与实践分享,以及座无虚席的现场,无一不昭示着重回线下的 FFA 的行业号召力。
90495 4
流计算迎来代际变革:流式湖仓 Flink + Paimon 加速落地、Flink CDC 重磅升级
|
存储 缓存 JavaScript
【面试题】当面试官让我回答React和Vue框架的区别......
【面试题】当面试官让我回答React和Vue框架的区别......
425 0
|
缓存 边缘计算 负载均衡
如何理解CDN?说说实现原理?
CDN(内容分发网络)是提升网络访问速度的关键技术,通过在全球或全国范围内设立边缘服务器,将内容缓存到靠近用户的地方。当用户访问网站时,DNS返回CNAME,引导用户连接到最近的CDN节点,而非直接到源站。CDN的负载均衡系统依据用户位置、运营商、节点负载等因素选择最佳边缘节点提供服务,而缓存系统则存储常用资源以提高命中率,减少回源请求。高命中率使得CDN能显著提高网站性能,降低网络拥塞。
4031 0
|
消息中间件 关系型数据库 MySQL
Flink CDC产品常见问题之用upsert的方式写入kafka失败如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。