# 实时计算 Flink版 #
1
关注
33497内容
解码大数据的四个V：体积、速度、种类与真实性
解码大数据的四个V：体积、速度、种类与真实性
微财基于 Flink 构造实时变量池
本文整理自微财资深数据开发工程师穆建魁老师在 Flink Forward Asia 2024 行业解决方案（一）专场中的分享。主要涵盖三部分内容：1) 基于 Flink 构建实时变量池，解决传统方案中数据库耦合度高、QPS 上限低等问题；2) 选择 Flink 进行流式计算的架构选型（Kappa 架构）及开发效率提升策略，通过数据分层优化开发流程；3) 实时变量池架构与多流关联优化实践，确保高效处理和存储实时变量，并应用于公司多个业务领域。
湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓
本文整理自阿里云产品经理李昊哲在Flink Forward Asia 2024流批一体专场的分享，涵盖实时湖仓发展趋势、基于Flink搭建流批一体实时湖仓及Materialized Table优化三方面。首先探讨了实时湖仓的发展趋势和背景，特别是阿里云在该领域的领导地位。接着介绍了Uniflow解决方案，通过Flink CDC、Paimon存储等技术实现低成本、高性能的流批一体处理。最后，重点讲解了Materialized Table如何简化用户操作，提升数据查询和补数体验，助力企业高效应对不同业务需求。
Flink 基础详解：大数据处理的强大引擎
Apache Flink 是一个分布式流批一体化的开源平台，专为大规模数据处理设计。它支持实时流处理和批处理，具有高吞吐量、低延迟特性。Flink 提供统一的编程抽象，简化大数据应用开发，并在流处理方面表现卓越，广泛应用于实时监控、金融交易分析等场景。其架构包括 JobManager、TaskManager 和 Client，支持并行度、水位线、时间语义等基础属性。Flink 还提供了丰富的算子、状态管理和容错机制，如检查点和 Savepoint，确保作业的可靠性和一致性。此外，Flink 支持 SQL 查询和 CDC 功能，实现实时数据捕获与同步，广泛应用于数据仓库和实时数据分析领域。
Flink SQL 详解：流批一体处理的强大工具
Flink SQL 是为应对传统数据处理框架中流批分离的问题而诞生的，它融合了SQL的简洁性和Flink的强大流批处理能力，降低了大数据处理门槛。其核心工作原理包括生成逻辑执行计划、查询优化和构建算子树，确保高效执行。Flink SQL 支持过滤、投影、聚合、连接和窗口等常用算子，实现了流批一体处理，极大提高了开发效率和代码复用性。通过统一的API和语法，Flink SQL 能够灵活应对实时和离线数据分析场景，为企业提供强大的数据处理能力。
AllData数据中台核心菜单十一：数据集成平台
杭州奥零数据科技有限公司成立于2023年，专注于数据中台业务，维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务，支持AI大模型应用，助力企业高效利用数据价值。
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享，介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长，公司面临数据库性能瓶颈及实时数据处理需求，通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题，并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。
Flink 四大基石之 Checkpoint 使用详解
Flink 的 Checkpoint 机制通过定期插入 Barrier 将数据流切分并进行快照，确保故障时能从最近的 Checkpoint 恢复，保障数据一致性。Checkpoint 分为精确一次和至少一次两种语义，前者确保每个数据仅处理一次，后者允许重复处理但不会丢失数据。此外，Flink 提供多种重启策略，如固定延迟、失败率和无重启策略，以应对不同场景。SavePoint 是手动触发的 Checkpoint，用于作业升级和迁移。Checkpoint 执行流程包括 Barrier 注入、算子状态快照、Barrier 对齐和完成 Checkpoint。
Flink 四大基石之窗口（Window）使用详解
在流处理场景中，窗口（Window）用于将无限数据流切分成有限大小的“块”，以便进行计算。Flink 提供了多种窗口类型，如时间窗口（滚动、滑动、会话）和计数窗口，通过窗口大小、滑动步长和偏移量等属性控制数据切分。窗口函数包括增量聚合函数、全窗口函数和ProcessWindowFunction，支持灵活的数据处理。应用案例展示了如何使用窗口进行实时流量统计和电商销售分析。
实时数仓 Hologres 产品介绍：一体化实时湖仓平台
本次方案的主题是实时数仓 Hologres 产品介绍：一体化实时湖仓平台，介绍了 Hologres 湖仓存储一体，多模式计算一体、分析服务一体和 Data+AI 一体四方面一体化场景，并对其运维监控方面及客户案例进行一定讲解。
1. Hologres ：面向未来的一体化实时湖仓
2. 运维监控
3. 客户案例
4. 总结
免费试用