开发者学堂课程【大数据实时计算框架 Spark 快速入门:spark streaming初始_1】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1719
spark streaming 初始_1
内容简介:
一、具体内容
一、具体内容
①spark streaming makes it easy to build scalable fault _tolerant streaming applications ,是指 spark streaming 可以让那个可扩展的程序很容易的就去弄流式的程序;
②Ease of Use,build application through high_level operators,
Fault Tolerance stateful exactly_once semantics out of the box 是仅计算一次,计算的非常精准,spark streamibg recovers both lost work and operator sate 会恢复失去的工作,保持状态,这种工作不需要人工去做,能够直接保存;
③Spark integration combine streaming with batch and interactive queries都能整合在一起,程序在里面都可以复用,很多时候,在技术选行的时候,如果项目要扩展,很多时候可以直接用 spark ,整合得非常方便, twitter 是国外的微博;
④ spark 里面有 spark streaming 和 sparkSQL , streaming 是留处理,我们希望数据进入到系统里面来,要分析,出结果,有些时候是一条记录进来然后立刻进行处理,几乎没有延迟的计算叫做流式计算,批处理需要攒一批数据, storm 可以直接处理流处理, storm 可以做到毫秒级,一般是金融机构里面是需要精确,很多公司在转 spark steaming。