VLDB 2025 论文《Disaggregated State Management in Apache Flink® 2.0》
Flink 2.0 架构革新引领流计算新时代
热烈祝贺 Apache Flink 2.0 的重磅研究成果《Disaggregated State Management in Apache Flink® 2.0 》被数据库领域顶级会议 VLDB 2025 正式接收！这项工作由 Apache Flink 社区 联合 阿里巴巴实时计算 Flink 团队 以及多位学术界研究人员共同完成，从架构上根本解决了在存算一体架构下长久以来快照消耗大、状态恢复慢，以及状态和计算捆绑造成成本高的问题，标志着 Flink 在分布式流处理系统状态管理架构上的重大突破，也代表着 Flink 向云原生架构演进的重要里程碑。
背景与挑战
随着实时数据和实时 AI 处理需求的不断增长，Apache Flink 凭借其优异的一致性状态管理架构以及丰富的上下游生态，已成为全球流处理引擎标准。然而，面对 TB 级别的状态存储与高吞吐、低延迟的访问要求，传统耦合的状态管理机制逐渐暴露出扩展性差、CP 消耗大以及恢复慢等问题。为了解决这一瓶颈，我们在 Apache Flink 2.0 中提出了一种全新的“**解耦式状态管理架构（Disaggregated State Management）**”，将状态存储与计算任务分离，利用廉价的对象存储来共享数据，从而实现更灵活的资源调度、更高的可扩展性和更轻量稳定的容错能力。
核心贡献与创新点
为了解决上述挑战，Flink 2.0 引入了两项重大创新：
(i) 统一的异步执行框架（Asynchronous Execution Framework）
Flink 2.0 引入了全新的异步执行框架，支持非阻塞状态访问与并行异步操作，从而大幅降低延迟、提升整体吞吐能力。该框架具备以下特点：
完全兼容 Flink 1.x 的同步状态访问方式；
自动跳过不必要的异步开销，在无需异步操作时保持高性能；
严格保障原有语义和状态一致性，确保 Exactly-Once 语义不打折扣
(ii) 解耦式状态存储引擎 ForSt（For Streaming）
ForSt 是 Flink 2.0 全新推出的解耦式状态存储引擎，它在不改变现有部署架构的前提下，提供统一的 LSM-tree 抽象，实现了本地与远程状态访问的无缝融合：
补齐远端与本地文件系统的能力差异；
支持共享 Working State 和 Checkpoint 文件，仅需维护一份状态副本；
实现秒级快照与瞬时状态恢复，极大提升作业恢复速度与容错能力。
意义与展望
十年前，Apache Flink 的奠基之作《State Management in Apache Flink》发表于 VLDB，首次系统阐述了流计算中的一致性状态管理机制，推动了流计算从简单 ETL 管道向复杂业务逻辑处理的跃迁。
十年后的今天，Flink 已成为大数据领域的基础设施，而 VLDB 2025 接收的这篇论文《Disaggregated State Management in Apache Flink® 2.0》，不仅代表了学术界对 Flink 技术创新能力的高度认可，更体现了阿里巴巴多年来持续投入 Flink 社区的技术传承与产业影响力。
这也是 Flink State Management 新的起点，未来我们希望能通过 ForSt 存储引擎的批量计算下推等能力进一步降低流计算的成本，兼具时效性和低成本的能力，开启 Flink 近实时计算的新纪元，真正做到实时计算的普惠。
作者名单
Yuan Mei, Alibaba Cloud
Zhaoqian Lan, Alibaba Cloud
Lei Huang, Boston University
Yanfei Lei, Alibaba Cloud
Han Yin, Alibaba Cloud
Rui Xia, Alibaba Cloud
Kaitian Hu, Alibaba Cloud
Paris Carbone, KTH Royal Institute of Technology
Vasiliki Kalavri, Boston University
Feng Wang Alibaba Cloud
致谢
感谢 Apache Flink 社区和兄弟团队的大力支持与宝贵建议，特别感谢 Jark Wu，Lincoln Lee，Xuyang Zhong 对 Flink 社区 SQL 算子的改写与适配使得 Flink 端到端存算分离成为可能！
更多内容
活动推荐
阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动：
新用户复制点击下方链接或者扫描二维码即可0元免费试用 Flink + Paimon
实时计算 Flink 版（3000CU*小时，3 个月内）
了解活动详情：https://free.aliyun.com/?utm_content=g_1000395379&productCode=sc
