spark streaming 初始_1 | 学习笔记

简介: 快速学习 spark streaming 初始_1

开发者学堂课程【大数据实时计算框架 Spark 快速入门spark streaming初始_1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/100/detail/1719


spark streaming  初始_1


内容简介:

一、具体内容


一、具体内容

①spark streaming makes it easy to build scalable fault _tolerant streaming applications  ,是指  spark streaming  可以让那个可扩展的程序很容易的就去弄流式的程序;

②Ease of Use,build application through high_level operators,

Fault Tolerance stateful exactly_once semantics out of the box   是仅计算一次,计算的非常精准,spark streamibg recovers both lost work and operator sate  会恢复失去的工作,保持状态,这种工作不需要人工去做,能够直接保存;

③Spark integration   combine streaming with batch and interactive queries都能整合在一起,程序在里面都可以复用,很多时候,在技术选行的时候,如果项目要扩展,很多时候可以直接用  spark  ,整合得非常方便, twitter  是国外的微博;

④ spark  里面有  spark streaming  和  sparkSQL  , streaming  是留处理,我们希望数据进入到系统里面来,要分析,出结果,有些时候是一条记录进来然后立刻进行处理,几乎没有延迟的计算叫做流式计算,批处理需要攒一批数据, storm  可以直接处理流处理,  storm  可以做到毫秒级,一般是金融机构里面是需要精确,很多公司在转  spark steaming。

相关文章
|
4月前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
77 0
|
4月前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
124 0
|
3月前
|
分布式计算 流计算 Spark
【赵渝强老师】Spark Streaming中的DStream
本文介绍了Spark Streaming的核心概念DStream,即离散流。DStream通过时间间隔将连续的数据流转换为一系列不连续的RDD,再通过Transformation进行转换,实现流式数据的处理。文中以MyNetworkWordCount程序为例,展示了DStream生成RDD的过程,并附有视频讲解。
|
4月前
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
83 0
|
4月前
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(一)
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(一)
71 0
|
4月前
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(二)
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例(二)
75 0
|
4月前
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(一)
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(一)
57 0
|
4月前
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(二)
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式(二)
45 0
|
4月前
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
53 0
|
4月前
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
66 0