基于流计算构建实时大数据处理系统

在2018云栖大会·上海峰会上，付空关于《基于流计算构建实时大数据处理系统》的分享，主要围绕以下几点进行了深入探讨：

1. 为什么使用流计算：

   • 流处理技术能够应对数据产生速度快、实时性强且量大的场景。例如，在股市分析、气象监测、用户行为分析等领域，传统数据处理架构难以满足实时性需求。
   • 流计算模型能够在数据流动过程中实时捕捉和处理数据，即时进行计算分析，从而快速响应业务需求，提高决策效率。

2. 为何选择阿里云流计算：

   • 阿里云实时计算服务，如实时计算Flink版，提供了全托管的Flink集群和引擎，显著提升了作业开发运维的效率。
   • 该服务具备高性能Serverless实时大数据处理能力，完全兼容Apache Flink，并集成丰富的企业级功能，包括流批一体开发运维平台、Flink CDC实时入湖入仓、动态CEP支持实时风控与营销等。
   • 支持自动调优以充分利用资源、智能诊断加速问题定位，以及优化的内核引擎，确保强劲性能，如CPU每秒可处理数十万条记录，Nexmark测试性能较开源提升200%。
   • 阿里云实时计算经历了从三大引擎并存到Blink统一，再到基于Flink的新一代VVP平台的发展历程，技术成熟且经过大规模业务验证。

3. 如何应用流计算：

   • 实际应用中，可以通过创建Source和Sink外表，结合SQL作业实现数据的实时聚合与处理。例如，定义数据源(order_source)，创建视图(order_source_stream_view)进行实时数据处理，然后通过Stream SQL作业将聚合结果写入目标存储(OrderStreamSink)。
   • 利用阿里云提供的流计算服务，用户可以便捷地搭建实时数据处理管道，实现数据的实时流转、分析与决策支持。

综上所述，付空的分享强调了流计算在实时大数据处理中的重要性和优势，特别是阿里云流计算服务在提供高效、灵活、企业级解决方案方面的能力，以及如何利用这些服务来构建强大的实时数据处理系统。