在 OpenAI 打造流处理平台：超大规模实时计算的实践与思考
本文介绍OpenAI构建流处理平台的实践与挑战。面对Kafka高可用、Python生态兼容、云环境限制等问题，团队基于PyFlink打造跨区域流处理架构，集成Kafka HA组、自研代理与控制平面，支撑实时Embedding生成、特征计算等场景，并推动开源协作与平台自动化演进。
Delta Join：为超大规模流处理实现计算与历史数据解耦
Delta Join（FLIP-486）是Flink流式Join的范式革新，通过将历史数据存储与计算解耦，实现按需查询外部存储（如Fluss、Paimon），避免状态无限增长。它解决了传统Join在高基数场景下的状态爆炸问题，显著降低资源消耗：状态减少50TB，成本降10倍，Checkpoint从小时级缩短至秒级，恢复速度提升87%。兼容标准SQL，自动优化转换，适用于海量数据实时关联场景，推动流处理迈向高效、稳定、可扩展的新阶段。
流、表与“二元性”的幻象
本文探讨流与表的“二元性”本质，指出实现该特性需具备主键、变更日志语义和物化能力。强调Kafka与Iceberg因缺乏更新语义和主键支持，无法真正实现二元性，唯有统一系统如Flink、Paimon或Fluss才能无缝融合流与表。
Flink 智能调优：从人工运维到自动化的实践之路
本文由阿里云Flink产品专家黄睿撰写，基于平台实践经验，深入解析流计算作业资源调优难题。针对人工调优效率低、业务波动影响大等挑战，介绍Flink自动调优架构设计，涵盖监控、定时、智能三种模式，并融合混合计费实现成本优化。展望未来AI化方向，推动运维智能化升级。
