Flink Shuffle 技术演进之路
本文由阿里云智能Flink团队郭伟杰与哔哩哔哩蒋晓峰在Flink Forward Asia 2024上的分享整理而成，聚焦Flink Shuffle技术的演进与未来规划。内容涵盖低延迟的Pipelined Shuffle、高吞吐的Blocking Shuffle、流批一体的Hybrid Shuffle三大模式及其应用场景，并探讨了Flink与Apache Celeborn的整合、性能优化及长期发展路线图。通过Hybrid Shuffle等创新技术，Flink实现了资源调度灵活性与高性能的平衡，为流批一体化计算提供了强大支持。未来，社区将进一步优化Shuffle机制，提升系统智能化与易用性。
当实时消费遇到 SPL：让数据处理更高效、简单
SLS 对实时消费进行了功能升级，推出了 基于 SPL 的规则消费功能。在实时消费过程中，用户只需通过简单的 SPL 配置即可完成服务端的数据清洗和预处理操作。通过SPL消费可以将客户端复杂的业务逻辑“左移”到服务端，从而大幅降低了客户端的复杂性和计算开销。
Flink批处理自适应执行计划优化
本文整理自阿里集团高级开发工程师孙夏在Flink Forward Asia 2024的分享，聚焦Flink自适应逻辑执行计划与Join算子优化。内容涵盖自适应批处理调度器、动态逻辑执行计划、自适应Broadcast Hash Join及Join倾斜优化等技术细节，并展望未来改进方向，如支持更多场景和智能优化策略。文章还介绍了Flink UI调整及性能优化措施，为批处理任务提供更高效、灵活的解决方案。
StarRocks 存算分离在京东物流的落地实践
本文分享了京东物流在StarRocks存算分离架构上的实践与成果。通过将UData平台从存算一体升级为存算分离，显著提升了查询性能和资源利用率，同时大幅降低了存储成本（90%）和计算资源成本（30%）。文章详细介绍了存算分离的背景、部署方案、性能表现及优化措施，包括联邦查询、实时写入、Compaction调优等关键技术点。未来，京东物流将持续推动存算分离的应用拓展，并探索更多降本增效策略，如Stream Load任务合并与主动缓存管理。
Flink + Doris 实时湖仓解决方案
本文整理自SelectDB技术副总裁陈明雨在Flink Forward Asia 2024的分享，聚焦Apache Doris与湖仓一体解决方案。内容涵盖三部分：一是介绍Apache Doris，一款高性能实时分析数据库，支持多场景应用；二是基于Doris、Flink和Paimon的湖仓解决方案，解决批流融合与数据一致性挑战；三是Doris社区生态及云原生发展，包括存算分离架构与600多位贡献者的活跃社区。文章深入探讨了Doris在性能、易用性及场景支持上的优势，并展示了其在多维分析、日志分析和湖仓分析中的实际应用案例。
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
本文介绍通过Flink CDC实现Oracle数据实时同步至崖山数据库（YashanDB）的方法，支持全量与增量同步，并涵盖新增、修改和删除的DML操作。内容包括环境准备（如JDK、Flink版本等）、Oracle日志归档启用、用户权限配置、增量日志记录设置、元数据迁移、Flink安装与配置、生成Flink SQL文件、Streampark部署，以及创建和启动实时同步任务的具体步骤。适合需要跨数据库实时同步方案的技术人员参考。
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
本文介绍通过Flink CDC实现Oracle数据实时同步至崖山数据库（YashanDB）的方法，支持全量与增量同步，并涵盖新增、修改和删除的DML操作。内容包括环境准备（如JDK、Flink版本等）、Oracle日志归档启用、用户权限配置、增量日志记录设置、元数据迁移、Flink安装与配置、生成Flink SQL文件、Streampark部署，以及创建和启动实时同步任务的具体步骤。适合需要跨数据库实时同步方案的技术人员参考。
Apache Flink 2.0.0: 实时数据处理的新纪元
Apache Flink 2.0.0 正式发布！这是自 Flink 1.0 发布九年以来的首次重大更新，凝聚了社区两年的努力。此版本引入分离式状态管理、物化表、流批统一等创新功能，优化云原生环境下的资源利用与性能表现，并强化了对人工智能工作流的支持。同时，Flink 2.0 对 API 和配置进行了全面清理，移除了过时组件，为未来的发展奠定了坚实基础。感谢 165 位贡献者的辛勤付出，共同推动实时计算进入新纪元！
基于 pyflink 的算法工作流设计和改造
本文分享了硕橙科技大数据工程师程兴源在Flink Forward Asia 2024上的演讲内容，围绕工业互联网场景下的Flink应用展开。主要内容包括：为何选择Flink、算法工作流设计、性能优化实践、上下游链路协作思考及未来展望。团队通过Flink处理工业设备数据（如温度、振动等），实现故障预测与分析。文章详细探讨了性能优化路径（如批处理、并行度提升）、KeyBy均衡化、内存管理等技术细节，并介绍了数据补全方法和告警规则的设计。最后，对未来基于Flink的编码强化、CEP模式改进及工业数据归因目标进行了展望。