流式计算
从spark 说起,谈谈“流式”计算的理解
spark是一个大数据分布式的计算框架,有一些并行计算的基础会更容易理解分布式计算框架的概念。对比并行计算,谈三个概念:
并行计算
Map Reduce 算子
RDD数据结构
并行计算
spark的任务分为1个driver、多个executor。
Flink WindowOperator 源码分析
0x1 摘要
WindowOperator可以说是Flink窗口功能非常核心核心的类,是窗口功能源码的一条主线,延着这条主线去慢慢看源码会轻松很多。注:此文基于Flink 1.4.2 版本源码。
0x2 WindowOperator 类结构分析
先来看一下类结构图,可以使用idea来生成类图,下图.