在 OpenAI 打造流处理平台：超大规模实时计算的实践与思考
本文介绍OpenAI构建流处理平台的实践与挑战。面对Kafka高可用、Python生态兼容、云环境限制等问题，团队基于PyFlink打造跨区域流处理架构，集成Kafka HA组、自研代理与控制平面，支撑实时Embedding生成、特征计算等场景，并推动开源协作与平台自动化演进。
Flink Forward Asia 2025 城市深圳巡回
Apache Flink 社区年度技术盛会FFA2025 城市巡回第二站！本次大会聚焦“实时智能与湖仓一体”前沿趋势，汇聚阿里云、淘天集团、vivo、腾讯等一线技术专家，深度分享 Flink、Paimon、Fluss、StarRocks 等开源生态的最新实践与创新探索。
Delta Join：为超大规模流处理实现计算与历史数据解耦
Delta Join（FLIP-486）是Flink流式Join的范式革新，通过将历史数据存储与计算解耦，实现按需查询外部存储（如Fluss、Paimon），避免状态无限增长。它解决了传统Join在高基数场景下的状态爆炸问题，显著降低资源消耗：状态减少50TB，成本降10倍，Checkpoint从小时级缩短至秒级，恢复速度提升87%。兼容标准SQL，自动优化转换，适用于海量数据实时关联场景，推动流处理迈向高效、稳定、可扩展的新阶段。
流、表与“二元性”的幻象
本文探讨流与表的“二元性”本质，指出实现该特性需具备主键、变更日志语义和物化能力。强调Kafka与Iceberg因缺乏更新语义和主键支持，无法真正实现二元性，唯有统一系统如Flink、Paimon或Fluss才能无缝融合流与表。
