18款顶级开源与商业流分析平台推荐与详解

◆ ◆ ◆

导读

流分析有助于开发和部署解决方案，通过云端的实时流处理以获得来自设备、传感器和应用程序的实时洞察力。流分析能够实施物联网解决方案的实时分析，每秒流动数百万的事件，提供关键任务可靠性和性能，也传送实时控制板和来自设备和应用程序的数据警告，关联多个数据流并使用基于SQL的语言进行开发。流分析客户化部署和监控流任务。

流分析应用包括个性化实时股票交易分析和由金融服务公司提供的预警、实时欺诈检测；数据和身份保护服务，对传感器、执行器、网页点击流分析、客户关系管理系统（CRM）报警、供应链报警和运输报警产生的数据进行分析。

本文将重点推荐18个顶级的开源与商业流分析平台，以下是清单罗列，之后会有详细的使用介绍。

◆ ◆ ◆

顶级开源与商业流分析平台:

aming, Apache Samza, Apache Storm

Commercial: IBM, Software AG, Azure Stream Analytics, DataTorrent, StreamAnalytix, SQLstream Blaze, SAP Event Stream Processor, Oracle Stream Analytics, TIBCO’s Event Analytics, Striim, Informatica, WSO2 Complex Event Processor, SAS Event Stream Processing, Cisco Connected Streaming Analytics.

开源流分析平台：

Apache Flink，Spark Streaming，Apache Samza，Apache Storm

商业流分析平台：

IBM, Software AG, Azure Stream Analytics，DataTorrent，StreamAnalytix，SQLstream Blaze，SAP Event Stream Processor，Oracle Stream Analytics，TIBCO’s Event Analytics，Striim，Informatica，WSO2 Complex Event Processor，SAS Event Stream Processing，Cisco Connected Streaming Analytics

◆ ◆ ◆

顶级开源分析平台

1、Apache Flink是一个分布式流和批量数据处理的开源平台。Flink的核心是一个流动数据流引擎，提供数据分发、通信和容错数据流上的分布式计算。Flink包含了几个API，以供创建应用程序来使用Flink引擎，其中有：用于嵌入在Java和Scala的无限流（undounded streams）的DataStream API，用于嵌入在Java、Scala和Python中静态数据的DataStream API，还有嵌入在Java与Scala中类SQL表达语言的Table API。

2、Spark Streaming可以轻松建立可扩展的容错流应用。Spark Streaming带来Apache Spark的语言集成API用于流处理，使你可以像写批处理任务一样写流任务。它支持Java，Scala和Python。

3、Apache Samza是个分布式流处理架构。它使用Apache Kafka来传递消息，Apache Hadoop Yarn用于容错、隔离处理器、安全保障和资源管理。

4、Apache Storm是一个免费开源的分布式实时计算系统。Storm可以轻松并可靠地处理无限数据流，能够实时做到如同Hadoop为批量处理所做的事。

◆ ◆ ◆

顶级流分析平台供应商

5、IBM Streams是先进的分析平台，它允许用户开发的应用程序快速摄取、分析和关联来自数以千计的数据流来源中的信息。该解决方案可以处理非常高的数据吞吐率，最高每秒可处理数百万的事件或消息。

6、Software AG的Apama Streaming Analytics是一个提供流分析和在快速移动的大数据上智能自动操作的平台。结合了事件处理、信息传递、内存数据管理和可视化，这个平台是一个完整的解决方案，能将物联网产生的持续不断的数据流转化为有意义的实时指标。

7、Azure Stream Analytics可以让你快速地开发和部署低成本的解决方案，以获取来自设备、传感器、基础设施和应用程序的实时洞察力。物联网场景下可以使用它，比如实时远程管理和监控，或从像手机和连网的汽车这样的设备中获得洞察力。

8、DataTorrent的平台是一个强大的实时流分析解决方案，简化了实时大数据应用的开发和运行。DataTorrent的整套开源Hadoop和商用硬件用于大规模实时流处理。该平台旨在分清应用程序逻辑和运行时间操作之间的区别。这使开发人员能够专注于他们的代码，而不是在管理上。有了DataTorrent，应用程序自动缩放和自我修复，不会有状态丢失或信息丢失，也没有人为干预或代码更改。

9、StreamAnalytix是一个多引擎、企业级、基于开源的平台。支持Apache Storm和Spark Streaming，StreamAnalytix旨在为任意一个垂直行业、数据格式和使用案例快速构建和部署流分析应用。能够在几分钟内用强大的视觉编辑器、内置和包括HDFS、Amazson S3、Kafka、Cassandra和Elasticsearch在内的资源创建出实时流数据分析应用， 轻松连接不同的管道与集成子系统，并通过可重复使用的自定义操作来扩展自带的资源。

10、SQLstream Blaze是一个实时操作智能流处理套件，适用于高容量、高速率的机器数据的集成、分析和可视化。SQLstream Blaze包括核心流处理器、S-服务器，有供开发人员和企业高权限用户使用的实时可视化产品、网络管理工具和一个为机器数据以及企业整合用的代理适配器综合套件。

11、SAP Event Stream Processor是一个捕捉、分析并在实时事件流上操作的事件处理平台。它分析并在事件上操作，因为它们与SAP Event Stream Processor一同发生，并且提供实时流处理和分析，最大限度地提高响应速度和敏捷性，充分利用物联网，开发拥有嵌入式CEP功能的新应用。

12、Oracle Stream Analytics平台提供了一个吸引人的组合：一个易于使用的视觉界面以供快速创建和动态改变实时流分析应用，同时提供全方位的运行时间平台来一起管理和执行这些解决方案。

13、TIBCO的事件驱动解决方案可以助你通过增加传统数据的智能处理和挖掘可能改变公司的行动来发现洞察力。 TIBCO的Event Analytics解决方案使得与机器的交互、协作都更容易，也使动作速度比以往任何时候都快。TIBCO提供一个事件处理和流分析产品的套装，让你获得实时的、可操作的运营智能，更迅速地做出更好的决策，与此同时，智能是相关的，可以采取措施提升运营成果。

14、Striim结合了流数据集成和流运营智能于一个平台。 Striim使我们能够关联多个数据流中的流信息和异常检测，有能力在数据移动的时候识别感兴趣的事件及其模式。

15、Informatica的解决方案已进行了优化，以收集和流结构化的、非结构化的或机器数据直接进入高性能数据仓库应用、Hadoop或任何分析平台。它提供访问并集成新的数据源，通过LAN或WAN采集流数据，在加载和重定向负载以优化性能（如ELT mode）之前，对数据进行修正、标准化和去重。

16、WSO2 Complex Event Processor提供实时分析，以帮助识别多个数据源中最有意义的事件和模式，分析其影响，并实时采取行动。它将实时和批量分析数据整合到一个平台，通过机器学习达成预测分析来支持物联网解决方案，以及移动和网页应用的多重需求。

17、SAS Event Stream Processing可以分析移动中的高速大数据，有助了解哪些需要采取行动，以及哪些可以忽略不计。事件流处理来自SAS的流数据质量，为复杂模式匹配预置解析表达式和高级分析集成。

18、Cisco Connected Streaming Analytics（CSA）平台提供来自多个数据源的高速流实时数据的洞察力，因此，你可以立即采取行动。CSA适用于广泛的工业和商业应用情况。