spark streaming 初始_1 | 学习笔记

简介: 快速学习 spark streaming 初始_1

开发者学堂课程【大数据实时计算框架 Spark 快速入门spark streaming初始_1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/100/detail/1719


spark streaming  初始_1


内容简介:

一、具体内容


一、具体内容

①spark streaming makes it easy to build scalable fault _tolerant streaming applications  ,是指  spark streaming  可以让那个可扩展的程序很容易的就去弄流式的程序;

②Ease of Use,build application through high_level operators,

Fault Tolerance stateful exactly_once semantics out of the box   是仅计算一次,计算的非常精准,spark streamibg recovers both lost work and operator sate  会恢复失去的工作,保持状态,这种工作不需要人工去做,能够直接保存;

③Spark integration   combine streaming with batch and interactive queries都能整合在一起,程序在里面都可以复用,很多时候,在技术选行的时候,如果项目要扩展,很多时候可以直接用  spark  ,整合得非常方便, twitter  是国外的微博;

④ spark  里面有  spark streaming  和  sparkSQL  , streaming  是留处理,我们希望数据进入到系统里面来,要分析,出结果,有些时候是一条记录进来然后立刻进行处理,几乎没有延迟的计算叫做流式计算,批处理需要攒一批数据, storm  可以直接处理流处理,  storm  可以做到毫秒级,一般是金融机构里面是需要精确,很多公司在转  spark steaming。

相关文章
|
27天前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
35 0
|
27天前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
69 0
|
27天前
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
51 0
|
27天前
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(一)
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(一)
28 0
|
27天前
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(二)
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(二)
39 0
|
27天前
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(一)
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(一)
30 0
|
27天前
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(二)
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(二)
27 0
|
27天前
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
27 0
|
27天前
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
36 0
|
2月前
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次(micro-batch),然后利用Spark的批处理引擎进行处理,从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量,又能够处理实时数据流。
69 0