Delta Join：为超大规模流处理实现计算与历史数据解耦
Delta Join（FLIP-486）是Flink流式Join的范式革新，通过将历史数据存储与计算解耦，实现按需查询外部存储（如Fluss、Paimon），避免状态无限增长。它解决了传统Join在高基数场景下的状态爆炸问题，显著降低资源消耗：状态减少50TB，成本降10倍，Checkpoint从小时级缩短至秒级，恢复速度提升87%。兼容标准SQL，自动优化转换，适用于海量数据实时关联场景，推动流处理迈向高效、稳定、可扩展的新阶段。
内附原文｜VLDB论文精读：AI进行时，数据分析迈入增量计算时代
阿里云AnalyticDB团队近期在VLDB 2025上发表了关于增量计算的最新研究成果——论文《Streaming View: An Efficient Data Processing Engine for Modern Real-time Data Warehouse of Alibaba Cloud》。本文将对该工作进行简要介绍。
Delta Join：为超大规模流处理实现计算与历史数据解耦
Delta Join（FLIP-486）是Flink流式Join的范式革新，通过将计算与历史数据解耦，避免传统Join因存储全量状态导致的资源爆炸。它采用无状态查询机制，按需从Fluss或Paimon等外部存储获取数据，显著降低状态大小、Checkpoint时间及恢复成本。实测中消除50TB状态，资源消耗降10倍，CPU内存节省超80%，作业恢复提速87%。兼容标准SQL，自动优化转换，适用于高基数流式关联、实时审计等场景，标志着大规模流处理进入高效稳定新阶段。
流、表与“二元性”的幻象
本文探讨流与表的“二元性”本质，指出实现该特性需具备主键、变更日志语义和物化能力。强调Kafka与Iceberg因缺乏更新语义和主键支持，无法真正实现二元性，唯有统一系统如Flink、Paimon或Fluss才能无缝融合流与表。
