Sparkstreaming 介绍 场景 | 学习笔记

简介: 快速学习 Sparkstreaming 介绍 场景

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 介绍 场景 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12125


Sparkstreaming 介绍 场景

内容介绍

一、流式计算

二、Sparkstreaming 介绍

 

一、流式计算

流式计算,包括两个框架

第一个 Sparkstreaming 第二个为 structureming

这两个框架均是 spark 提供的流式计算的框架

一个代表过去,一个代表现阶段计算的框架

Sparkstreaming 为 speak2.0 左右开始使用的进入生产环节使用的一个状态

对 Sparkstreaming 将围绕介绍,案例与原理、操作三个方面进行讲解

Sparkstreaming 介绍部门将围绕,流计算,应用场景,区别,架构,特点等知识点来进行讲解

image.png

 

二、Sparkstreaming 应用场景介绍

(1)商品应用场景

图为京东购物车的选购图片

image.png

图为猜你喜欢,根据以往的购买记录,对个人喜欢进行推荐

image.png

推荐为我们经常在电商网站看到的功能,如果是离线计算应用场景,

昨天购买的商品今天进入进行推荐

如果是流计算,当时购买,便进行推荐,所以说是快速的对数据的处理,加入购物车以后迅速的进行推荐,对于商品推荐场景而言,数据量大,计算要求快速,并需要相关算法

(2)工业大数据的应用场景

image.png

三块屏幕,左侧右侧显示当前机器指标

在现在工业,由检测机器当前状态的需求

首先这些工业需求,由机器产生的计算量比较大,数据是以事件的形式动态产品和汇报。

若某台机器出问题,未能当天得知,是无法达到要求的,所以对于工业大数据来说,数据的及时性处理要求高。

(3)监控的应用场景

image.png

以上是监控的处理界面

任何大型的项目,均要进行一些监控

如:相关 cpu 的情况,服务器的请求等

监控需要及时的,快速的反应监控结果

(4)应用场景的共同点

1. 计算速度要求高

2. 数据量都比较大

相关文章
|
6月前
|
消息中间件 分布式计算 关系型数据库
|
消息中间件 SQL 分布式计算
Spark分布式计算框架之SparkStreaming+kafka
Spark分布式计算框架之SparkStreaming+kafka
124 0
|
消息中间件 存储 分布式计算
sparkstreaming遇到的问题
sparkstreaming遇到的问题
116 0
|
消息中间件 分布式计算 NoSQL
Sparkstreaming 介绍-架构 | 学习笔记
快速学习 Sparkstreaming 介绍-架构
Sparkstreaming 介绍-架构 | 学习笔记
|
SQL 机器学习/深度学习 数据采集
storm&spark1|学习笔记
快速学习 storm&spark1
storm&spark1|学习笔记
|
存储 SQL 分布式计算
storm&spark2|学习笔记
快速学习 storm&spark2
113 0
storm&spark2|学习笔记
|
大数据 开发者
Sparkstreaming 案例 -Netcat | 学习笔记
快速学习 Sparkstreaming 案例 -Netcat
Sparkstreaming 案例 -Netcat | 学习笔记
|
分布式计算 Hadoop 大数据
SparkStreaming 案例_运行 | 学习笔记
快速学习 SparkStreaming 案例_运行
SparkStreaming 案例_运行 | 学习笔记
|
消息中间件 存储 分布式计算
SparkStreaming 原理_Receiver | 学习笔记
快速学习 SparkStreaming 原理_Receiver
SparkStreaming 原理_Receiver | 学习笔记
|
SQL 分布式计算
SparkSQL实践
SparkSQL实战:统计用户及商品数据指标,包含以下三张表
167 0
SparkSQL实践