开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 介绍 场景 】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/692/detail/12125
Sparkstreaming 介绍 场景
内容介绍
一、流式计算
二、Sparkstreaming 介绍
一、流式计算
流式计算,包括两个框架
第一个 Sparkstreaming 第二个为 structureming
这两个框架均是 spark 提供的流式计算的框架
一个代表过去,一个代表现阶段计算的框架
Sparkstreaming 为 speak2.0 左右开始使用的进入生产环节使用的一个状态
对 Sparkstreaming 将围绕介绍,案例与原理、操作三个方面进行讲解
Sparkstreaming 介绍部门将围绕,流计算,应用场景,区别,架构,特点等知识点来进行讲解
二、Sparkstreaming 应用场景介绍
(1)商品应用场景
图为京东购物车的选购图片
图为猜你喜欢,根据以往的购买记录,对个人喜欢进行推荐
推荐为我们经常在电商网站看到的功能,如果是离线计算应用场景,
昨天购买的商品今天进入进行推荐
如果是流计算,当时购买,便进行推荐,所以说是快速的对数据的处理,加入购物车以后迅速的进行推荐,对于商品推荐场景而言,数据量大,计算要求快速,并需要相关算法
(2)工业大数据的应用场景
三块屏幕,左侧右侧显示当前机器指标
在现在工业,由检测机器当前状态的需求
首先这些工业需求,由机器产生的计算量比较大,数据是以事件的形式动态产品和汇报。
若某台机器出问题,未能当天得知,是无法达到要求的,所以对于工业大数据来说,数据的及时性处理要求高。
(3)监控的应用场景
以上是监控的处理界面
任何大型的项目,均要进行一些监控
如:相关 cpu 的情况,服务器的请求等
监控需要及时的,快速的反应监控结果
(4)应用场景的共同点
1. 计算速度要求高
2. 数据量都比较大