实时计算 Flink

Flink Forward Asia 2024 将于11月29日至30日在上海举行，作为Apache Flink社区的重要活动，本次大会将聚焦Flink十年技术演进与未来规划，涵盖Flink 2.0新特性、Paimon数据湖格式、Fluss实时分析存储解决方案等内容，并设有圆桌讨论，探讨AI时代下大数据技术的发展方向。欢迎预约直播，参与互动赢取好礼。

Flink Forward Asia 2024 将于 11 月 29-30 日在上海举行，庆祝 Apache Flink 诞生十周年。大会将回顾 Flink 的技术成就，展望未来十年的发展，并介绍 Flink 2.0 版本。通过三种参与方式，您有机会免费赢取大会两日通票和 Flink 专属周边。

本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括：Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎，通过向量化技术和 C++ 实现，大幅提升了性能和成本效益。

本文由喜马拉雅直播业务与仓库建设负责人王琛撰写，介绍了喜马拉雅直播业务的数据仓库架构迭代升级。文章重点分享了基于 Flink + Paimon + StarRocks 实现实时湖仓的架构及其成效，通过分钟级别的收入监控、实时榜单生成、流量监测和盈亏预警，大幅提升了运营效率与决策质量，并为未来的业务扩展和 AI 项目打下坚实基础。

作为 Apache Flink 社区备受期待的年度盛会之一，本届大会将于 11 月 29 至 30 日在上海隆重举行。Flink Forward Asia（以下简称FFA）是由 Apache 官方授权的 Apache Flink 社区官方技术大会，旨在汇聚领先的行业实践与技术动态。在众多合作伙伴的支持与技术开发者的协助下，FFA 已成功举办了六届。适逢 Apache Flink 诞生 10 周年，今年的 FFA 主论坛将与广大开发者分享 Flink 过去十年在技术和生态方面的演进历程及关键成果。同时，基于当前 AI 时代的新场景，展望未来十年 Flink 的发展方向和规划。大会还将为您提供全面了解 Flink 2.0 版本的机会，并与业界领袖共同探讨 Apache Flink 的过去、现在及未来，以及其在实际应用中的潜力。快来预约主论坛直播，享受大数据技术盛宴～ 讲师/嘉宾简介

Apache Flink 社区正积极筹备 Flink 2.0 的发布，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈，但不建议在生产环境中使用。

阿里云实时计算Flink版是一款全托管的Serverless Flink云服务，提供实时数据处理、自动调优、智能诊断等功能，显著提升了数据处理效率和系统稳定性。本文详细评测了其产品特性、部署过程及应用效果，展示了其在电商、金融等领域的广泛应用前景。

本文由阿里云计算平台产品专家李鲁兵（云觉）分享，聚焦汽车行业大数据应用。内容涵盖市场趋势、典型大数据架构、产品市场地位及能力解读，以及典型客户案例。文章详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势，以及Flink和Paimon在车联网中的应用案例。

本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用，涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势，以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。

本文由阿里云研发工程师李俊睿撰写，介绍了Flink 1.20版中新引入的批作业进度恢复功能。文章涵盖背景、解决思路、使用效果及启用方法。此前，若JobMaster故障，批作业需重头开始，造成进度丢失。新功能通过将JM状态持久化至外部存储并在故障后利用这些状态恢复作业进度，避免了这一问题。使用该功能需启用集群高可用并配置相关参数。

在2024云栖大会开源大数据专场上，阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash，该引擎100%兼容Apache Flink标准，性能提升5-10倍，助力企业降本增效。此外，EMR Serverless Spark产品启动商业化，提供全托管Serverless服务，性能提升300%，并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行，欢迎报名参加。

本文源自阿里云实时计算团队 Apache Flink Committer 任庆盛在 Apache Asia CommunityOverCode 2024 的分享，涵盖 Flink CDC 的概念、版本历程、内部实现及社区未来规划。Flink CDC 是一种基于数据库日志的 CDC 技术实现的数据集成框架，能高效完成全量和增量数据的实时同步。自 2020 年以来，Flink CDC 经过多次迭代，已成为功能强大的实时数据集成工具，支持多种数据库和数据湖仓系统。未来将进一步扩展生态并提升稳定性。

本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享，内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一，但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略，自动适应不同场景需求。文章详细介绍了如何通过量化指标（如isProcessingBacklog和isInsertOnly）实现这一目标，并展示了针对不同场景的具体优化措施。此外，还概述了社区当前进展及未来规划，包括将优化方案推向Flink社区、动态调整算子流程结构等。

饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构，随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据，但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统，提升了数据一致性和研发效率，但仍面临新业务适应性等问题。最终，饿了么选择Paimon和StarRocks作为实时湖仓方案，显著降低了存储成本并提高了系统稳定性。未来，将进一步优化带宽瓶颈、小文件问题及权限控制，实现更多场景的应用。