实时计算 Flink

Delta Join（FLIP-486）是Flink流式Join的范式革新，通过将历史数据存储与计算解耦，实现按需查询外部存储（如Fluss、Paimon），避免状态无限增长。它解决了传统Join在高基数场景下的状态爆炸问题，显著降低资源消耗：状态减少50TB，成本降10倍，Checkpoint从小时级缩短至秒级，恢复速度提升87%。兼容标准SQL，自动优化转换，适用于海量数据实时关联场景，推动流处理迈向高效、稳定、可扩展的新阶段。

本文探讨流与表的“二元性”本质，指出实现该特性需具备主键、变更日志语义和物化能力。强调Kafka与Iceberg因缺乏更新语义和主键支持，无法真正实现二元性，唯有统一系统如Flink、Paimon或Fluss才能无缝融合流与表。

本文由阿里云Flink产品专家黄睿撰写，基于平台实践经验，深入解析流计算作业资源调优难题。针对人工调优效率低、业务波动影响大等挑战，介绍Flink自动调优架构设计，涵盖监控、定时、智能三种模式，并融合混合计费实现成本优化。展望未来AI化方向，推动运维智能化升级。

零跑科技基于Flink构建一体化实时计算平台，应对智能网联汽车海量数据挑战。从车机信号实时分析到故障诊断，实现分钟级向秒级跃迁，提升性能3-5倍，降低存储成本。通过Flink+Hologres+MaxCompute技术栈，打造高效、稳定、可扩展的实时数仓，支撑100万台量产车背后的数据驱动决策，并迈向流批一体与AI融合的未来架构。

Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目，旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架，实现数据与智能的实时融合。

本文源自Apache CommunityOverCode Asia 2025，阿里云专家苏轩楠分享Flink与Paimon构建实时湖仓的演进实践。深度解析Variant数据类型、Lookup Join优化等关键技术，提升半结构化数据处理效率与系统可扩展性，推动实时湖仓在生产环境的高效落地。

本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲，深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体，结合Flink的实时处理能力，推动AI在工业场景中的工程化落地，涵盖智能运维、直播分析等典型应用，展现其在AI发展第四层次——智能体AI中的重要意义。

本文整理自淘宝闪购（饿了么）大数据架构师王沛斌在 Flink Forward Asia 2025 上海站的分享，深度解析其基于 Apache Flink 与 Paimon 的 Lakehouse 架构演进与落地实践，涵盖实时数仓发展、技术选型、平台建设及未来展望。

本文整理自抖音集团数据工程师黄鑫在Flink Forward Asia 2024的分享，围绕抖音实时数据研发的现状与挑战、DataOps能力建设及未来规划展开，涵盖需求管理、开发测试、发布运维等全流程实践，旨在提升数据质量与开发效率，实现高效稳定的数据交付。

本文由 Ververica 客户成功经理 Naci Simsek 撰写，基于其在多个行业 Flink 项目中的实战经验，总结了 Apache Flink 生产环境中常见的三大典型问题及其解决方案。内容涵盖 Kafka 连接器迁移导致的状态管理问题、任务槽负载不均问题以及 Kryo 序列化引发的性能陷阱，旨在帮助企业开发者避免常见误区，提升实时流处理系统的稳定性与性能。

阿里云实时计算Flink团队，全球领先的流计算引擎缔造者，支撑双11万亿级数据处理，推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才，地点覆盖北京、杭州、上海。技术深度参与开源核心，打造企业级实时计算解决方案，助力全球企业实现毫秒洞察。

本文整理自 Lazada Group EVP 及供应链技术负责人陈立群在 Flink Forward Asia 2025 新加坡实时分析专场的分享。作为东南亚领先的电商平台，Lazada 面临在六国管理数十亿商品 SKU 的挑战。为实现毫秒级数据驱动决策，Lazada 基于阿里云实时计算 Flink 和 Hologres 打造端到端实时商品选品平台，支撑日常运营与大促期间分钟级响应。本文深入解析该平台如何通过流式处理与实时分析技术重构电商数据架构，实现从“事后分析”到“事中调控”的跃迁。

本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现，并结合 Flink CDC 详细介绍了整库同步的解决方案，助力构建更加高效、稳定的实时数据处理体系。

Apache Flink 是实时数据处理领域的核心技术，历经十年发展，已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用，支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布，其在流式湖仓、AI 驱动决策等方面展现出强大潜力，正推动企业迈向智能化、实时化的新阶段。

Flink Forward Asia 2025 城市巡回上海站重磅来袭！8月16日，顶尖技术专家齐聚，共探实时计算前沿趋势与行业实践。大会涵盖技术分享、实战案例与开源生态共建，支持线上直播预约。立即报名，共赴技术盛宴！

本文介绍了基于华为鲲鹏ARM架构服务器与openEuler操作系统，构建包含HDFS、ZooKeeper、Flink、Fluss及Paimon的实时大数据环境的完整实战过程。涵盖了软硬件配置、组件部署、集群规划、环境变量设置、安全认证及启停脚本编写等内容，适用于企业级实时数据平台搭建与运维场景。

Apache Flink 2.0架构实现重大突破，论文《Disaggregated State Management in Apache Flink® 2.0》被VLDB 2025收录。该研究提出解耦式状态管理架构，通过异步执行框架与全新存储引擎ForSt，实现状态与计算分离，显著提升扩展性、容错能力与资源效率，推动Flink向云原生演进，开启流计算新时代。

Flink Forward Asia 2025将于7月3日在新加坡举办，主题为“实时智能的未来”。大会聚焦实时AI、实时湖仓与实时分析，展示Apache Flink及社区项目如Paimon、Fluss的最新成果。来自阿里云、AWS、TikTok等企业专家将分享洞见，现场及直播观众均可参与互动抽奖，共襄技术盛宴。

Fluss 0.7 版本正式发布！历经 3 个月开发，完成 250+ 次代码提交，聚焦稳定性、架构升级、性能优化与安全性。新增湖流一体弹性无状态服务、流式分区裁剪功能，大幅提升系统可靠性和查询效率。同时推出 Fluss Java Client 和 DataStream Connector，支持企业级安全认证与鉴权机制。未来将在 Apache 孵化器中继续迭代，探索多模态数据场景，欢迎开发者加入共建！

本文整理自蚂蚁集团技术专家刘勇在Flink Forward Asia 2024上的分享，聚焦流批一体向量化引擎的背景、架构及未来规划。内容涵盖向量化计算的基础原理（如SIMD指令）、现有技术现状，以及蚂蚁在Flink 1.18中引入的C++开发向量化计算实践。通过Flex引擎（基于Velox构建），实现比原生执行引擎更高的吞吐量和更低的成本。文章还详细介绍了功能性优化、正确性验证、易用性和稳定性建设，并展示了线上作业性能提升的具体数据（平均提升75%，最佳达14倍）。最后展望了未来规划，包括全新数据转换层、与Paimon结合及支持更多算子和SIMD函数。

本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享，围绕Flink On K8S的实践展开。内容涵盖五个部分：背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战，包括资源池统一、环境一致性改进及隔离性提升，并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外，还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向，为Flink云原生化提供了全面的技术参考。

传统流式数据管道通过多表 Join 构建宽表，如实时推荐引擎需整合用户偏好、购买记录等8个数据源，但此方法在大规模场景下状态管理复杂、资源消耗高且调试困难。Fluss 提出部分更新方案，基于主键将各数据源独立写入共享宽表，避免复杂 Join 操作。示例中，通过 Flink SQL 创建推荐、曝光、点击等表，并逐步插入数据实现宽表构建。最终，借助 Fluss 的高效合并机制，输出包含最新信息的统一视图，提升可扩展性和维护性。

Fluss是一款开源流存储项目，致力于为Lakehouse架构提供高效的实时数据层。其全新Logo以一只踏浪前行的小水獭为核心形象，象征流动性、适应性和友好性。水獭灵感源于“Fluss”德语中“河流”的含义，传递灵活与亲和力。经过30多版设计迭代，最终呈现动态活力的视觉效果。Fluss计划捐赠给Apache软件基金会，目前已开启孵化提案。社区还推出了系列周边礼品，欢迎加入钉钉群109135004351参与交流！

本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享，围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术，解决当前流批存储不统一、实时数据可见性差等痛点，实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率，降低了使用门槛与成本，并规划未来在集团内推广湖仓一体架构，探索更多技术创新场景。

本文总结了货拉拉高级大数据开发工程师陈政羽在Flink Forward Asia 2024上的分享，聚焦Flink CDC在货拉拉的应用与优化。内容涵盖CDC应用现状、数据入湖新体验、入湖优化及未来规划。文中详细分析了CDC在多业务场景中的实践，包括数据采集平台化、稳定性建设，以及面临的文件碎片化、Schema演进等挑战。同时介绍了基于Apache Amoro的湖仓融合架构，通过自优化服务解决小文件问题，提升数据新鲜度与读写平衡。未来将深化Paimon与Amoro的结合，打造更高效的入湖生态与自动化优化方案。

Apache Flink CDC 3.4.0 版本正式发布！经过4个月的开发，此版本强化了对高频表结构变更的支持，新增 batch 执行模式和 Apache Iceberg Sink 连接器，可将数据库数据全增量实时写入 Iceberg 数据湖。51位贡献者完成了259次代码提交，优化了 MySQL、MongoDB 等连接器，并修复多个缺陷。未来 3.5 版本将聚焦脏数据处理、数据限流等能力及 AI 生态对接。欢迎下载体验并提出反馈！