实时计算 Flink
关注
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
0
今日
22625
内容
32
活动
200560
关注
来自：
大数据与机器学习
深度分析：Apache Flink及其在大数据处理中的应用
Apache Flink是低延迟、高吞吐量的流处理框架，以其状态管理和事件时间处理能力脱颖而出。与Apache Spark Streaming相比，Flink在实时性上更强，但Spark生态系统更丰富。Apache Storm在低延迟上有优势，而Kafka Streams适合轻量级流处理。选型考虑延迟、状态管理、生态系统和运维成本。Flink适用于实时数据分析、复杂事件处理等场景，使用时注意资源配置、状态管理和窗口操作的优化。
522
0
0
贝壳找房基于Flink+Paimon进行全量数据实时分组排序的实践
本文投稿自贝壳家装数仓团队，在结合家装业务场景下所探索出的一种基于 Flink+Paimon 的排序方案。这种方案可以在实时环境对全量数据进行准确的分组排序，同时减少对内存资源的消耗。在这一方案中，引入了“事件时间分段”的概念，以避免 Flink State 中冗余数据对排序结果的干扰，在保证排序结果准确性的同时，减少了对内存的消耗。并且基于数据湖组件 Paimon 的聚合模型和 Audit Log 数据在数据湖内构建了拉链表，为排序结果提供了灵活的历史数据基础。
28999
8
12
更多版块
我要发布