实时计算 Flink

本文整理自阿里云智能开源湖存储负责人李劲松在Flink Forward Asia 2024上海站主论坛的演讲。Apache Paimon于今年3月成为顶级项目，计划发布1.0版本，目标是Unified Lake Format for Data + AI，解决数据处理与AI应用中的关键问题。Paimon结合Flink打造Streaming Lakehouse解决方案，已在阿里巴巴集团及多个行业中广泛应用。来自淘天、抖音和vivo的嘉宾分享了基于Paimon + Flink技术栈的数据湖实时处理与分析实践案例。内容涵盖大数据从业者面临的痛点、Paimon的发展历程及大厂的应用经验。

本文由杭州银行大数据工程师唐占峰、欧阳武林撰写，介绍Flink动态CEP的定义、应用场景、技术实现及使用方式。Flink动态CEP是基于Flink的复杂事件处理库，支持在不重启服务的情况下动态更新规则，适应快速变化的业务需求。文章详细阐述了其在反洗钱、反欺诈和实时营销等金融领域的应用，并展示了某金融机构的实际应用案例。通过动态CEP，用户可以实时调整规则，提高系统的灵活性和响应速度，降低维护成本。文中还提供了具体的代码示例和技术细节，帮助读者理解和使用Flink动态CEP。

本文整理自阿里云技术专家兰兆千在Flink Forward Asia 2024上的分享，主要介绍Flink 2.0的存算分离架构、全新状态存储内核ForSt DB及工作进展与未来展望。Flink 2.0通过存算分离解决了本地磁盘瓶颈、检查点资源尖峰和作业恢复速度慢等问题，提升了云原生部署能力。ForSt DB作为嵌入式Key-value存储内核，支持远端读写、批量并发优化和快速检查点等功能。性能测试表明，ForSt在异步访问和本地缓存支持下表现卓越。未来，Flink将继续完善SQL Operator的异步优化，并引入更多流特性支持。

本文整理自阿里云智能高级技术专家宋辛童、资深技术专家梅源和高级技术专家李麟在 Flink Forward Asia 2024 主会场的分享。三位专家详细介绍了 Flink 2.0 的四大技术方向：Streaming、Stream-Batch Unification、Streaming Lakehouse 和 AI。主要内容包括 Flink 2.0 的存算分离云原生化、流批一体的 Materialized Table、Flink 与 Paimon 的深度集成，以及 Flink 在 AI 领域的应用。

本文整理自阿里云高级开发工程师罗宇侠在Flink Forward Asia 2024上海站的分享，介绍了湖流割裂的现状与挑战，Fluss湖流一体架构的设计与优势，以及未来规划。内容涵盖湖流割裂的现状、Fluss架构详解、湖流一体带来的收益，以及未来的生态扩展和技术优化。

FFA2024流批一体专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家聚焦于流批一体数仓的最新进展与实践，涵盖从理论探索到实际应用的全方位内容。

本文整理自阿里云开源大数据负责人王峰（莫问）在 Flink Forward Asia 2024 上海站主论坛开场的分享，今年正值 Flink 开源项目诞生的第 10 周年，借此时机，王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果，最后展望下一个十年 Flink 路向何方。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

FFA2024云原生专场由Apache Flink核心贡献者与来自阿里云、网易游戏、小红书、美团、哔哩哔哩等公司的一线技术专家带来，聚焦Flink与云原生技术的结合，探讨如何在云原生环境中高效部署和深度优化Flink流批任务。通过实战经验分享，帮助开发者利用容器化、K8s、Serverless等工具，在稳定、性能、成本之间取得平衡。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

FFA2024流批一体专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家聚焦于流批一体数仓的最新进展与实践，涵盖从理论探索到实际应用的全方位内容。

FFA2024流式湖仓专场由 Apache Flink 核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA2024流式湖仓专场由Apache Flink核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践，重点探讨 Flink 的核心技术（如状态管理、容错机制、数据传输、大规模调度和核心算法等）在实际生产环境中面临的挑战，以及如何通过最佳实践来进行扩展和改进。

FFA2024Data+AI专场由Apache Flink核心贡献者与来自哔哩哔哩、抖音集团、Elastic、京东、硕橙科技等公司的一线技术专家带来，聚焦实时大数据处理与人工智能的前沿融合，共同探讨如何利用Flink助力AI大模型技术的实时化升级，议题涵盖但不限于特征工程、训练、推理、大模型架构优化、以及实时AI大模型在各行业领域的创新应用。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效，安全，敏捷地落地实时数据处理框架。

FFA2024行业解决方案专场由 Apache Flink 核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

本文撰写自阿里云开源大数据平台数据通道团队，主要介绍了 Flink CDC YAML 在实时计算Flink版的最佳实践。

FFA 2024 流批一体专场由 Apache Flink 核心贡献者与来自阿里云智能、小米、快手、美团、腾讯及抖音集团公司的一线技术专家聚焦于流批一体的最新进展与实践，涵盖从理论探索到实际应用的全方位内容。围绕构建高效、统一的流批处理架构展开深入探讨。

FFA 2024数据集成专场由 Apache Flink 核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

FFA2024流式湖仓专场由Apache Flink核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以Apache Paimon为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析Flink技术动向与应用实践，重点探讨Flink的核心技术在实际生产环境中面临的挑战，以及如何通过最佳实践来进行扩展和改进。

Apache Flink 年度技术盛会聚焦“回顾过去，展望未来”，涵盖流式湖仓、流批一体、Data+AI 等八大核心议题，近百家厂商参与，深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ，可在线阅读和下载。

适逢Apache Flink诞生10周年，今年的FFA与广大开发者分享Flink过去十年在技术和生态方面的演进历程及关键成果。同时，基于当前AI时代的新场景，展望未来十年Flink的发展方向和规划。大会还将为您提供全面了解Flink2.0版本的机会，并与业界领袖共同探讨Apache Flink的过去、现在及未来，以及其在实际应用中的潜力。

适逢 Apache Flink 诞生 10 周年，今年的 FFA 主论坛将与广大开发者分享 Flink 过去十年在技术和生态方面的演进历程及关键成果。同时，基于当前 AI 时代的新场景，展望未来十年 Flink 的发展方向和规划。还将为您提供全面了解 Flink 2.0 版本的机会，并与业界领袖共同探讨 Apache Flink 的过去、现在及未来，以及其在实际应用中的潜力。

FFA2024云原生专场由 Apache Flink 核心贡献者与来自阿里云、网易游戏、小红书、美团、哔哩哔哩等公司的一线技术专家带来，聚焦Flink与云原生技术的结合，探讨如何在云原生环境中高效部署和深度优化Flink流批任务。通过实战经验分享，帮助开发者利用容器化、K8s、Serverless等工具，在稳定、性能、成本之间取得平衡。

FFA2024Data+AI专场由 Apache Flink 核心贡献者与来自哔哩哔哩、抖音集团、Elastic、京东、硕橙科技等公司的一线技术专家带来，聚焦实时大数据处理与人工智能的前沿融合，共同探讨如何利用Flink助力AI大模型技术的实时化升级，议题涵盖但不限于特征工程、训练、推理、大模型架构优化、以及实时AI大模型在各行业领域的创新应用。

FFA 2024 核心技术专场由 Apache Flink 核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家解析 Flink 技术动向与应用实践，重点探讨 Flink 的核心技术（如状态管理、容错机制、数据传输、大规模调度和核心算法等）在实际生产环境中面临的挑战，以及如何通过最佳实践来进行扩展和改进。

FFA 2024 流式湖仓专场由 Apache Flink 核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA 2024生产实践专场由 Apache Flink 核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。