流式计算-阿里云开发者社区

开发者社区> 大数据> 正文
登录阅读全文

流式计算

简介: 从spark 说起,谈谈“流式”计算的理解 spark是一个大数据分布式的计算框架,有一些并行计算的基础会更容易理解分布式计算框架的概念。对比并行计算,谈三个概念: 并行计算 Map Reduce 算子 RDD数据结构 并行计算 spark的任务分为1个driver、多个executor。

从spark 说起,谈谈“流式”计算的理解

spark是一个大数据分布式的计算框架,有一些并行计算的基础会更容易理解分布式计算框架的概念。对比并行计算,谈三个概念:

  1. 并行计算
  2. Map Reduce 算子
  3. RDD数据结构
  • 并行计算

spark的任务分为1个driver、多个executor。程序启动driver,driver发送执行的程序(jar)到executor,executor在多台机器并行执行。driver和executor可以理解为进程,像httpd一样,完成某些任务,接受并发送数据的进程。

不同的spark任务都需要分配driver、executor。此时,还需要提供资源管理的应用,包括计算资源内存资源的。

我们采用YARN作为spark资源管理系统,Mesos是另一个资源管理框架。


YARN
  • Map Reduce 算子

大数据与并行计算的最大区别,我认为就在map reduce算子上。

并行计算更喜欢做“关门打狗”的应用,高度并行,线程之间不做交互,例如口令破译,造表等。

spark中,用transform 和 action代替map Reduce操作。transform中的reduceByKey等操作对整体数据处理。例如,下面的代码是一个transform操作,rdd是(word,1)对象,reducebykey统计相同word出现的次数,这个操作是全局完成的。

rdd.reduceByKey((v1,v2)->v1+v2)
  • RDD数据结构

在并行计算中,需要维护一个全局数据结构,类似任务种子,每个节点维护与自己种子对应的数据片。

RDD(Resilient Distributed Datasets),弹性分布式数据集。在spark中,RDD维护一个全局的数据对象。每个任务executor自动对应自己的数据集分片。在编写程序的时候,对executor上到底有哪些数据不用关心,数据集的分片、合并等操作都是透明的,仅需要定义整个数据集的操作。

RDD

spark 大数据应用,挑战

spark用于实现大数据分析功能。如果数据源比较大,有几十亿条,用MySQL做数据分析,可能要一天的时间,spark可能几十分钟就能给出结果(因为采用分布式计算,分布式数据集)。

传统的web服务,属于online业务。online业务要求毫秒级的响应速度,这样的业务产生额外的要求,例如对用户的阅读记录对用户的画像的影响、一个订单对全城车辆调度的影响、一个用户的动态对推荐feed流的影响。

虽然,这些操作实时性不像online业务要求毫秒,但是也是秒级的。对spark批处理提出更多要求。

Spark streaming 解决秒级响应,即流式计算

spark streaming 将spark 批处理应用,缩小为一个微批micro batch,把microbatch作为一个计算单元。


Stream

典型应用如图。大量实时业务产生的实时数据,首先放在一个队列中,例如kafka,Spark streaming 从kafka中取出micorbatch进行处理。

JavaStreamingContext ssc = 
new JavaStreamingContext(sparkConf, Durations.seconds(5));
JavaReceiverInputDStream inputDStream =     
                ssc.socketTextStream("localhost",9999,
                    StorageLevel.MEMORY_AND_DISK());
JavaDStream<String> words =  inputDStream
            .flatMap(s->Arrays.asList(String.valueOf(s)
                          .split(" ")).iterator());

上面的代码案例,定义一个socket输入流,任务每5秒钟执行一次(微批),统计单词个数。

总结

本文是关于spark streaming流式计算理解的介绍文章。

希望读者能通过10分钟的阅读,理解spark streaming 及流式计算的原理。

文中对spark、yarn的原理没有深入讲解,有机会在后面的文章介绍。

下一篇我会根据spark streaming 官网中案例讲解JavaDStream mapWithState的练习。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章
最新文章
相关文章