实时计算 Flink

本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲，深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体，结合Flink的实时处理能力，推动AI在工业场景中的工程化落地，涵盖智能运维、直播分析等典型应用，展现其在AI发展第四层次——智能体AI中的重要意义。

本文整理自淘宝闪购（饿了么）大数据架构师王沛斌在 Flink Forward Asia 2025 上海站的分享，深度解析其基于 Apache Flink 与 Paimon 的 Lakehouse 架构演进与落地实践，涵盖实时数仓发展、技术选型、平台建设及未来展望。

本文整理自抖音集团数据工程师黄鑫在Flink Forward Asia 2024的分享，围绕抖音实时数据研发的现状与挑战、DataOps能力建设及未来规划展开，涵盖需求管理、开发测试、发布运维等全流程实践，旨在提升数据质量与开发效率，实现高效稳定的数据交付。

本文由 Ververica 客户成功经理 Naci Simsek 撰写，基于其在多个行业 Flink 项目中的实战经验，总结了 Apache Flink 生产环境中常见的三大典型问题及其解决方案。内容涵盖 Kafka 连接器迁移导致的状态管理问题、任务槽负载不均问题以及 Kryo 序列化引发的性能陷阱，旨在帮助企业开发者避免常见误区，提升实时流处理系统的稳定性与性能。

阿里云实时计算Flink团队，全球领先的流计算引擎缔造者，支撑双11万亿级数据处理，推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才，地点覆盖北京、杭州、上海。技术深度参与开源核心，打造企业级实时计算解决方案，助力全球企业实现毫秒洞察。

本文整理自 Lazada Group EVP 及供应链技术负责人陈立群在 Flink Forward Asia 2025 新加坡实时分析专场的分享。作为东南亚领先的电商平台，Lazada 面临在六国管理数十亿商品 SKU 的挑战。为实现毫秒级数据驱动决策，Lazada 基于阿里云实时计算 Flink 和 Hologres 打造端到端实时商品选品平台，支撑日常运营与大促期间分钟级响应。本文深入解析该平台如何通过流式处理与实时分析技术重构电商数据架构，实现从“事后分析”到“事中调控”的跃迁。

本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现，并结合 Flink CDC 详细介绍了整库同步的解决方案，助力构建更加高效、稳定的实时数据处理体系。

Apache Flink 是实时数据处理领域的核心技术，历经十年发展，已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用，支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布，其在流式湖仓、AI 驱动决策等方面展现出强大潜力，正推动企业迈向智能化、实时化的新阶段。

Flink Forward Asia 2025 城市巡回上海站重磅来袭！8月16日，顶尖技术专家齐聚，共探实时计算前沿趋势与行业实践。大会涵盖技术分享、实战案例与开源生态共建，支持线上直播预约。立即报名，共赴技术盛宴！

本文介绍了基于华为鲲鹏ARM架构服务器与openEuler操作系统，构建包含HDFS、ZooKeeper、Flink、Fluss及Paimon的实时大数据环境的完整实战过程。涵盖了软硬件配置、组件部署、集群规划、环境变量设置、安全认证及启停脚本编写等内容，适用于企业级实时数据平台搭建与运维场景。

淘天集团数据开发团队基于Fluss构建新一代实时数仓，解决数据消费冗余、探查困难及大State运维难题。Fluss融合列存与实时更新能力，支持列裁剪、KV点查、Delta Join及湖流一体，显著降低IO与计算资源消耗，提升作业稳定性与数据探查效率。已在淘天AB实验平台落地，覆盖搜索、推荐等核心业务，通过618大促验证，实现千万级流量、秒级延迟，资源消耗降低30%，State缩减超100TB。未来将持续深化湖仓架构，拓展AI场景应用。

Apache Flink 2.0架构实现重大突破，论文《Disaggregated State Management in Apache Flink® 2.0》被VLDB 2025收录。该研究提出解耦式状态管理架构，通过异步执行框架与全新存储引擎ForSt，实现状态与计算分离，显著提升扩展性、容错能力与资源效率，推动Flink向云原生演进，开启流计算新时代。

Flink Forward Asia 2025将于7月3日在新加坡举办，主题为“实时智能的未来”。大会聚焦实时AI、实时湖仓与实时分析，展示Apache Flink及社区项目如Paimon、Fluss的最新成果。来自阿里云、AWS、TikTok等企业专家将分享洞见，现场及直播观众均可参与互动抽奖，共襄技术盛宴。

Fluss 0.7 版本正式发布！历经 3 个月开发，完成 250+ 次代码提交，聚焦稳定性、架构升级、性能优化与安全性。新增湖流一体弹性无状态服务、流式分区裁剪功能，大幅提升系统可靠性和查询效率。同时推出 Fluss Java Client 和 DataStream Connector，支持企业级安全认证与鉴权机制。未来将在 Apache 孵化器中继续迭代，探索多模态数据场景，欢迎开发者加入共建！

本文整理自蚂蚁集团技术专家刘勇在Flink Forward Asia 2024上的分享，聚焦流批一体向量化引擎的背景、架构及未来规划。内容涵盖向量化计算的基础原理（如SIMD指令）、现有技术现状，以及蚂蚁在Flink 1.18中引入的C++开发向量化计算实践。通过Flex引擎（基于Velox构建），实现比原生执行引擎更高的吞吐量和更低的成本。文章还详细介绍了功能性优化、正确性验证、易用性和稳定性建设，并展示了线上作业性能提升的具体数据（平均提升75%，最佳达14倍）。最后展望了未来规划，包括全新数据转换层、与Paimon结合及支持更多算子和SIMD函数。

本文基于哔哩哔哩资深开发工程师丁国涛在Flink Forward Asia 2024云原生专场的分享，围绕Flink On K8S的实践展开。内容涵盖五个部分：背景介绍、功能及稳定性优化、性能优化、运维优化和未来展望。文章详细分析了从YARN迁移到K8S的优势与挑战，包括资源池统一、环境一致性改进及隔离性提升，并针对镜像优化、Pod异常处理、启动速度优化等问题提出解决方案。此外，还探讨了多机房容灾、负载均衡及潮汐混部等未来发展方向，为Flink云原生化提供了全面的技术参考。

传统流式数据管道通过多表 Join 构建宽表，如实时推荐引擎需整合用户偏好、购买记录等8个数据源，但此方法在大规模场景下状态管理复杂、资源消耗高且调试困难。Fluss 提出部分更新方案，基于主键将各数据源独立写入共享宽表，避免复杂 Join 操作。示例中，通过 Flink SQL 创建推荐、曝光、点击等表，并逐步插入数据实现宽表构建。最终，借助 Fluss 的高效合并机制，输出包含最新信息的统一视图，提升可扩展性和维护性。

Fluss是一款开源流存储项目，致力于为Lakehouse架构提供高效的实时数据层。其全新Logo以一只踏浪前行的小水獭为核心形象，象征流动性、适应性和友好性。水獭灵感源于“Fluss”德语中“河流”的含义，传递灵活与亲和力。经过30多版设计迭代，最终呈现动态活力的视觉效果。Fluss计划捐赠给Apache软件基金会，目前已开启孵化提案。社区还推出了系列周边礼品，欢迎加入钉钉群109135004351参与交流！

本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享，围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术，解决当前流批存储不统一、实时数据可见性差等痛点，实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率，降低了使用门槛与成本，并规划未来在集团内推广湖仓一体架构，探索更多技术创新场景。

本文总结了货拉拉高级大数据开发工程师陈政羽在Flink Forward Asia 2024上的分享，聚焦Flink CDC在货拉拉的应用与优化。内容涵盖CDC应用现状、数据入湖新体验、入湖优化及未来规划。文中详细分析了CDC在多业务场景中的实践，包括数据采集平台化、稳定性建设，以及面临的文件碎片化、Schema演进等挑战。同时介绍了基于Apache Amoro的湖仓融合架构，通过自优化服务解决小文件问题，提升数据新鲜度与读写平衡。未来将深化Paimon与Amoro的结合，打造更高效的入湖生态与自动化优化方案。

Apache Flink CDC 3.4.0 版本正式发布！经过4个月的开发，此版本强化了对高频表结构变更的支持，新增 batch 执行模式和 Apache Iceberg Sink 连接器，可将数据库数据全增量实时写入 Iceberg 数据湖。51位贡献者完成了259次代码提交，优化了 MySQL、MongoDB 等连接器，并修复多个缺陷。未来 3.5 版本将聚焦脏数据处理、数据限流等能力及 AI 生态对接。欢迎下载体验并提出反馈！

本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享，聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分：背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon，解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题，显著提升了开发运维效率、节省资源并增强了任务稳定性。同时，文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用，并介绍了其核心技术优化与未来规划。

在数字化转型中，企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00，阿里云三位技术专家将讲解Kafka与Flink的强强联合方案，帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景，具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师，参与还有机会领取定制好礼！扫描海报二维码或点击链接预约直播：[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)

本文分享了网易游戏在Flink实时计算领域的资源管理与架构演进经验，从Yarn到K8s云原生，再到混合云的实践历程。文章详细解析了各阶段的技术挑战与解决方案，包括资源隔离、弹性伸缩、自动扩缩容及服务混部等关键能力的实现。通过混合云架构，网易游戏显著提升了资源利用率，降低了30%机器成本，小作业计算成本下降40%，并为未来性能优化、流批一体及智能运维奠定了基础。

本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲，介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%，同步延迟从3小时降至3分钟，存储成本降低50%，为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合，推动数字化升级。

本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享，围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化，实现效率、质量、成本和稳定性全面提升，数据质量达99%以上，任务性能提升70%。未来将聚焦自动化、低代码化与成本优化，探索更高效的流批一体化方案。

本文整理自中国电信集团大数据架构师李新虎老师在Flink Forward Asia 2024的分享，围绕星海时空智能系统展开，涵盖四个核心部分：时空数据现状、实时场景多引擎化、典型应用及未来展望。系统日处理8000亿条数据，具备亚米级定位能力，通过Flink多引擎架构解决数据膨胀与响应时效等问题，优化资源利用并提升计算效率。应用场景包括运动状态识别、个体行为分析和群智感知，未来将推进湖仓一体改造与三维时空服务体系建设，助力数字化转型与智慧城市建设。

本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享，聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程，解决复杂业务场景下的数据分析挑战，如多维OLAP分析、大屏监控等。同时，文章详细介绍了基于StarRocks的湖仓一体方案，优化存储成本并提升查询效率，以及存算分离的应用实践。最后，对未来数据服务的发展方向进行了展望，计划推广长周期数据存储服务和原生数据湖建设，进一步提升数据分析能力。

中原银行实时数据开发平台负责人杜威科在Flink Forward Asia 2024分享了银行业实时数据处理的经验。内容涵盖需求分析、解决方案、场景案例与现状展望。银行业需构建全链路、全场景的企业级实时数据平台，解决动账场景下的复杂计算需求。通过Flink+Paimon方案，实现高效更新、低成本存储与便捷查询。案例包括账户表实时更新入湖、交易协同优化、实时图应用、海量数据存储及业务人员易用性建设。未来目标是实现上千张表实时入湖，缩短延迟并探索AI结合的新场景。

本文由货拉拉国际化技术部资深数据仓库工程师林海亮撰写，围绕Flink在实时数仓中的应用展开。文章首先介绍了Lalamove业务背景，随后分析了Flink在实时看板、数据服务API、数据监控及数据分析中的应用与挑战，如多数据中心、时区差异、上游改造频繁及高成本问题。接着阐述了实时数仓架构从无分层到引入Paimon湖仓的演进过程，解决了数据延迟、兼容性及资源消耗等问题。最后展望未来，提出基于Fluss+Paimon优化架构的方向，进一步提升性能与降低成本。