Sparkstreaming 介绍 场景 | 学习笔记

简介: 快速学习 Sparkstreaming 介绍 场景

开发者学堂课程【大数据Spark2020版(知识精讲与实战演练)第五阶段:Sparkstreaming 介绍 场景 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/692/detail/12125


Sparkstreaming 介绍 场景

内容介绍

一、流式计算

二、Sparkstreaming 介绍

 

一、流式计算

流式计算,包括两个框架

第一个 Sparkstreaming 第二个为 structureming

这两个框架均是 spark 提供的流式计算的框架

一个代表过去,一个代表现阶段计算的框架

Sparkstreaming 为 speak2.0 左右开始使用的进入生产环节使用的一个状态

对 Sparkstreaming 将围绕介绍,案例与原理、操作三个方面进行讲解

Sparkstreaming 介绍部门将围绕,流计算,应用场景,区别,架构,特点等知识点来进行讲解

image.png

 

二、Sparkstreaming 应用场景介绍

(1)商品应用场景

图为京东购物车的选购图片

image.png

图为猜你喜欢,根据以往的购买记录,对个人喜欢进行推荐

image.png

推荐为我们经常在电商网站看到的功能,如果是离线计算应用场景,

昨天购买的商品今天进入进行推荐

如果是流计算,当时购买,便进行推荐,所以说是快速的对数据的处理,加入购物车以后迅速的进行推荐,对于商品推荐场景而言,数据量大,计算要求快速,并需要相关算法

(2)工业大数据的应用场景

image.png

三块屏幕,左侧右侧显示当前机器指标

在现在工业,由检测机器当前状态的需求

首先这些工业需求,由机器产生的计算量比较大,数据是以事件的形式动态产品和汇报。

若某台机器出问题,未能当天得知,是无法达到要求的,所以对于工业大数据来说,数据的及时性处理要求高。

(3)监控的应用场景

image.png

以上是监控的处理界面

任何大型的项目,均要进行一些监控

如:相关 cpu 的情况,服务器的请求等

监控需要及时的,快速的反应监控结果

(4)应用场景的共同点

1. 计算速度要求高

2. 数据量都比较大

相关文章
|
Kubernetes Apache 对象存储
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用(中)
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用
255 0
|
存储 SQL JSON
Spark - 一文搞懂 parquet
parquet 文件常见于 Spark、Hive、Streamin、MapReduce 等大数据场景,通过列式存储和元数据存储的方式实现了高效的数据存储与检索,下面主要讲parquet 文件在 spark 场景下的存储,读取与使用中可能遇到的坑。......
2270 0
Spark - 一文搞懂 parquet
|
8月前
|
消息中间件 分布式计算 关系型数据库
|
数据采集 数据处理
SparkStreaming 里的数据怎么处理的?
SparkStreaming 里的数据怎么处理的?
65 0
|
关系型数据库 MySQL 大数据
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用(下)
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用
267 0
|
存储 消息中间件 大数据
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用(上)
海程邦达基于Apache Paimon+Streampark实现 Streaming warehouse的实战应用
259 0
|
消息中间件 SQL 分布式计算
Spark分布式计算框架之SparkStreaming+kafka
Spark分布式计算框架之SparkStreaming+kafka
140 0
|
消息中间件 存储 分布式计算
sparkstreaming遇到的问题
sparkstreaming遇到的问题
128 0
|
消息中间件 分布式计算 NoSQL
Sparkstreaming 介绍-架构 | 学习笔记
快速学习 Sparkstreaming 介绍-架构
Sparkstreaming 介绍-架构 | 学习笔记
|
消息中间件 存储 分布式计算
SparkStreaming 原理_Receiver | 学习笔记
快速学习 SparkStreaming 原理_Receiver
SparkStreaming 原理_Receiver | 学习笔记