文章目录
一、前言
二、什么是流式处理
三、流式处理的重点有哪些
3.1 交付保障
3.2 故障容错
3.3 状态管理
3.4 性能
3.5 成熟
四、流式处理的两种类型
4.1 Native流
4.2 小批量处理
4.3 两种类型都有一些优点和缺点
五、现有流处理框架介绍
5.1 Storm
5.2 Spark Streaming
5.3 Flink
5.4 Kafka Steams
5.5 Kafka Streams vs. Spark Streaming
六、流式框架比较
七、如何选择最好的/最适合的流失处理框架？
7.1 使用场景
7.2 未来的考虑
7.3 现有的技术堆栈
八、总结
8.1 延迟要求高
8.2 功能复杂度
8.3 现有技术堆栈
8.4 未来的考虑
Ref
一、前言
随着新设备，传感器和物联网技术的发展，数据增长率在不断加速，全世界的数据量都在井喷式的增长。
从技术上讲，这意味着我们通过大数据处理的手段将变得更加复杂和具有挑战性。许多用例（例如移动应用广告，欺诈检测，出租车预订，患者监控等）需要在数据到达时实时进行数据处理，以便做出快速可行的决策，这也就是分布式流处理在大数据世界中变得非常流行的原因。
目前我们所接触的比较流行的开源流式处理框架：Flink、Spark Streaming、Storm、Kafka Streams，接下来我会对以上几个框架的应用场景、优势、劣势、局限性一一做说明。
二、什么是流式处理
目前对信息高时效性、可操作性的需求不断增长，这要求软件系统在更少的时间内能处理更多的数据。传统的大数据处理模型将在线事务处理和离线分析从时序上将两者完全分割开来，但显然该架构目前已经越来越落后于人们对于大数据实时处理的需求。
实时计算的产生即来源于对于上述数据加工时效性的严苛需求。数据的业务价值随着时间的流失而迅速降低，因此在数据发生后必须尽快对其进行计算和处理。而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式，即以小时甚至以天为计算周期对当前数据进行累计并处理，显然这类处理方式无法满足数据实时计算的需求。
在诸如实时大数据分析、风控预警、实时预测、金融交易等诸多业务场景领域，批量(或者说离线)处理对于上述对于数据处理时延要求苛刻的应用领域而言是完全无法胜任其业务需求的。而实时计算作为一类针对流数据的实时计算模型，可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。
三、流式处理的重点有哪些
为了理解任何 Streaming 框架的优点和局限性，我们应该注意与 Streams 处理相关的一些重要特征和术语：
3.1 交付保障
Atleast-once（即使在出现故障时也至少会被处理一次）
Atmost-once（在发生故障时可能不会被处理）
Exactly-once（即使出现故障，数据也将被处理一次且恰好一次）
从数据一致性的角度上看，完全一次是我们所希望的。但是在分布式系统中是比较难实现的，处于对性能以及数据安全一致性的考虑，都会从中权衡利弊作出响应的选择。
3.2 故障容错
分布式系统中，包含任务故障、节点故障、网络故障等，框架应该能够恢复，并且应该从它离线的位置再次开始处理，一般通过不时地检查流式传输到某个持久存储的状态来实现。
例如，在处理来自Kafka的数据时，检查点kafka在获得记录处理后会将offset存储到zookeeper。如果失败，请从检查点offset处重新开始。
3.3 状态管理
在状态处理要求的情况下，我们需要维护某些状态（例如记录中看到的每个不同单词的计数），框架应该能够提供一些机制来保存和更新状态信息。
3.4 性能
性能上我们考虑的有几个点：延迟、吞吐量和可伸缩性。理想的情况下，我们希望延迟尽可能小、吞吐量尽可能高，而实际上两者很难同时实现，只能努力做到两者之间的平衡。
高级功能（Event Time Processing, Watermarks, Windowing）
主要是应对复杂流处理的场景。
3.5 成熟
从企业技术应用的角度来看，这一点是非常重要的。记得起大公司的大规模验证和测试，框架的稳定性、可靠性也有一定的保障。成熟的框架，更有可能获得良好的社区支持和stackoverflow的帮助。
四、流式处理的两种类型
4.1 Native流
指每个传入的记录一到达就会被处理，而不必等待其他记录。
4.2 小批量处理
也称为快速批处理。这意味着每隔几秒就会将传入记录一起批处理，然后在一个小批量中处理，延迟几秒钟。
4.3 两种类型都有一些优点和缺点
Native流：每个记录在到达时都会被处理，从而允许框架实现最小的延迟。但这也意味着很难在不影响每个记录的吞吐量的情况下实现容错，我们需要在处理后跟踪和检查点。此外，状态管理很容易，因为有长时间运行的过程可以轻松地维持所需的状态。
微批处理：与Native流恰恰相反，容错是与生俱来的，因为它本质上是一个批处理，吞吐量也很高，因为处理和检查点将一次性完成一组记录。但它不像Native流一样，它有一定的延迟成本。此外，有效的状态管理也将是一项难以维持的挑战。
