实时计算 Flink

Apache Paimon Meetup（第一期） 邀请到三位各大行业专家给大家带来主题分享。本次分享会介绍：Paimon 0.4 已经发布！本次 Meetup 会介绍 Paimon 0.4 的核心能力，用户场景，欢迎大家试用和反馈！字节在 Paimon 上提供了一个完整的 Streaming Warehouse 一致性视图，本次 Meetup 将会分享字节相关的实践和经验。来自同程的老师大规模落地了 Paimon，他将会介绍落地 Paimon 的生产实践。讲师/嘉宾简介阿里巴巴高级技术专家，Apache Flink PMC 李劲松（花名：之信）字节跳动基础架构工程师李明同程旅行大数据计算组负责人吴祥平

Apache Flink 是领先的流处理标准，流批统一的数据处理概念在越来越多的公司中得到认可。Apache Flink 社区在3月份发布了1.17大版本，Flink 1.17 有172位贡献者热情参与，完成了7个 FLIP 和600多个 issue，为社区带来了许多令人兴奋的新功能和改进。相比1.16版本，Flink 1.17 侧重提升了引擎的批处理的性能和完善了流处理语义，使得用户可以实现更简化更实时的数据仓库，朝着 Streaming Warehouse 领域迈进了一大步。讲师/嘉宾简介徐榜江（雪尽） 阿里云 Flink 数据通道负责人Apache Flink PMC Member & Committer ，Flink 1.17 Release Manager

Flink Forward 行业实践 “Flink在新能源场站运维的应用”姚远工程师，注册测绘师

Flink Forward 平台建设“联通Flink实时计算平台运维实践”穆纯进联通数科实时计算团队负责人

Flink Forward 实时湖仓“Flink + StarRocks：实时数据分析新范式”谢寅 StartRocket 社区技术布道师

Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”耿飙 阿里云开发工程师胡俊涛 阿里云开发工程师

云原生为数据集成领域注入了全新生命力，本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江｜阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航｜阿里云高级开发工程师，Apache Flink Contributor & Flink CDC Maintainer袁奎｜小红书高级开发工程师胡焕｜小米计算平台高级工程师张军｜科杰科技大数据架构师，Apache Flink、Iceberg、StreamPark Contributor

Apache Flink Meetup 北京站主题：Flink 1.16 Preview： Hive SQL 如何平迁到 Flink SQL 讲师：伍翀 阿里巴巴高级技术专家

数据湖无疑是近几年大数据领域最火热的一个方向，那到底什么是数据湖？数据湖的架构和核心技术有哪些？企业应该如何构建、管理和使用数据湖？阿里云的开源大数据团队在数据湖领域有多年的深耕和实战经验。7月17日，09:00-12:40，DataFun将联合阿里云开源大数据团队举办DataFunTalk技术交流会：阿里云数据湖技术专场，将邀请到来自阿里云数据湖存储、数据湖计算、数据湖构建和管理团队的技术专家给大家做一次从数据湖架构到核心技术到平台构建的全方位介绍与分享。讲师/嘉宾简介陈鑫伟（熙康）- 数据湖概念及架构简介熊佳树（履霜）- 数据湖统一元数据与权限杨庆苇（轻为）- 数据湖管理及优化孙大鹏（诚历）- JindoData新一代数据湖存储加速毕岩（寻径）- 基于DeltaLake构建数据湖仓体系范佚伦(子灼) - 基于Spark的云原生数据湖分析实践陈玉兆（玉兆） - 实时数据湖

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍侯鑫磊，中国农业银行研发中心高级研发工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍金浩，英特尔软件工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍杨巍威，Cloudera 资深软件工程师杨弢，阿里巴巴技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

Apache Flink核心技术专场数据的价值在于数据分析，而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向，并回归技术本质，打造Flink全方位技术盛宴。讲师介绍徐帅，阿里巴巴高级技术专家宋辛童，Apache Flink Contributor，阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

适逢Apache Flink诞生10周年，今年的FFA与广大开发者分享Flink过去十年在技术和生态方面的演进历程及关键成果。同时，基于当前AI时代的新场景，展望未来十年Flink的发展方向和规划。大会还将为您提供全面了解Flink2.0版本的机会，并与业界领袖共同探讨Apache Flink的过去、现在及未来，以及其在实际应用中的潜力。

生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。

本次实战营由阿里云 Flink 专家与传智教育高级顾问联合出品，项目依托于传智教育博学谷线上教育平台数字化建设场景，真实还原实时计算业务细节，学完后掌握基于阿里云的 Flink CDC，Paimon，StarRocks 等核心技术，收获完整实时数仓与流式数据湖构建经验。 讲师/嘉宾 赵晨杰-黑马程序员技术专家张敬存-黑马程序员技术专家

Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人

Flink Forward 实时湖仓“OceanBase+Flink：构建高效的实时计算解决方案”周跃跃 OceanBase架构师

Flink Forward 平台建设“阿里实时计算Flink自动调优实践”钟旭阳 阿里实时计算Flink自动调休实践

Flink Forward 平台建设“爱奇艺统一实时计算平台建设”李恒 爱奇艺资深研发工程师

Flink Forward Asia 实时风控专场 “Flink CEP 在抖音电商的业务实践”张健 字节跳动数据工程师

平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介王世涛｜货拉拉大数据实时研发平台负责董剑辉｜美团数据系统研发工程师张彬｜美团数据系统研发工程师穆纯进｜联通数科实时计算团队负责人，Apache StreamPark Contributor周超｜小米软件开发工程师王华杰｜Apache StreamPark PPMC, 社区发起人

快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介张成玉｜聚水潭大数据开发专家，数据团队-实时研发组负责人，数据中台架构师应圣楚｜聚水潭高级 ETL 工程师，数据团队-实时研发组成员，数据中台-数据门户、直播大屏公共层研发负责人刘赟｜中国汽车工程研究院股份有限公司 开发工程师姚远｜中国电力工程顾问集团中南电力设计院有限公司 工程师、注册测绘师

AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。讲师/嘉宾简介林东｜Apache Kafka Committer 和 PMC 成员李天旺｜腾讯专家级工程师张颖莹｜阿里云计算平台算法专家廖嘉逸｜字节跳动推荐特征生产方向负责人刘首维｜字节跳动推荐架构工程师

由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践，回归技术本质，打造全方位技术盛宴。讲师/嘉宾简介黄兴勃｜阿里云高级开发工程师，Apache Flink Committer，Flink 1.16 Release Manager王雷博｜华为云容器服务架构师、Volcano 社区负责人姜逸坤｜Volcano Reviewer，openEuler Infra Maintainer何润康｜字节跳动基础架构工程师任庆盛｜阿里云开发工程师，Apache Flink Committer罗根｜阿里云技术专家

活动介绍：为了促进 Flink CDC 技术的交流和发展，我们将于 5 月 21 日在线举办 Flink CDC Meetup。本次 Meetup 由阿里巴巴技术专家，Apache Flink PMC Member & Committer 伍翀 (云邪) 作为出品人，邀请了来自阿里巴巴、XTransfer、顺丰、OceanBase、大健云仓的大咖分享 Flink CDC 在各场景中的最佳实践、生产经验、技术原理等。嘉宾简介：伍翀（云邪）- 阿里巴巴技术专家，Apache Flink PMC Member & Committer徐榜江（雪尽）- 阿里巴巴高级开发工程师，Apache Flink Committer & Flink CDC Maintainer孙家宝 - XTransfer 资深 Java 开发工程师，Flink CDC Maintainer覃立辉 - 顺丰大数据研发工程师王赫（川粉）- OceanBase 技术专家龚中强 - 大健云仓基础架构部负责人

本专场集结阿里巴巴、腾讯、快手、小米、美团的技术专家探讨超大规模Flink集群运维与大规模作业稳定性优化实践等议题。讲师/嘉宾简介1.《阿里超大规模 Flink 集群运维体系介绍》王华 - 阿里云实时计算高级运维专家2.《Flink 引擎在快手的深度优化与生产实践》刘建刚 - 快手实时计算团队技术专家3.《大规模作业的稳定性优化实践》邱从贤 - 腾讯数据平台高级开发工程师，Apache Flink Committer4.《小米基于 Flink 的稳定性优化与实践》张蛟 - 小米大数据部高级软件工程师，Apache Flink Contributor5.《美团 Flink 大作业部署与状态稳定性优化实践》冯斐 - 美团数据平台计算引擎组工程师王非凡 - 美团数据平台计算引擎工程师，Apache Flink Contributor

开源大数据生态专场，来自 Pravega、Pulsar、TiDB、Zeppelin 等社区的技术专家围绕 Flink 的生态融合，探讨当下大数据的发展趋势与未来动向，并展现相关技术在一线生产场景的最佳实践。讲师/嘉宾简介1.《Mars on Flink：实时数据流上的 Pandas》付典 - 阿里巴巴高级技术专家，Apache Flink PMC2.《蚂蚁实时计算 Flink on OceanBase》陶然 - 阿里巴巴高级开发工程师，Apache Spark/Apache Flink Contributor周跃跃 - 蚂蚁集团 OceanBase 架构师3.《双剑合璧：Flink + StarRocks 构建实时数仓解决方案》谢寅 - StarRocks 解决方案架构师4.《使用 Apache Atlas 追踪 Apache Flink 的实时数据仓库血缘》刘岩 - Cloudera 解决方案工程师，Apache Hive/Apache Flink Contributor

实时数仓专场邀请腾讯、快手、美团、科大讯飞、理想汽车、蚂蚁金服、SmartNews、智慧芽、十荟团等多位数仓技术专家分析实时数仓的应用实践及平台智能化的探索与思考。讲师/嘉宾简介1.《蚂蚁实时数仓体系升级实践》马年圣 - 蚂蚁金服实时数仓架构师2.《Flink 在讯飞 AI 营销业务实时数仓实践》汪李之 - 科大讯飞中级大数据工程师3.《SmartNews 基于 Flink 的实时数仓建设》袁尤军 - SmartNews 数据平台首席架构师4.《十荟团基于 Flink SQL 与 Zeppelin 构建实时数仓的实践》康琪 - 十荟团高级大数据研发工程师、实时计算团队负责人，Apache Flink Contributor5.《TiDB X Flink｜HTAP 为实时数据服务插上翅膀》曲明星 - 智慧芽数据仓库架构师

平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《B 站基于 Flink 的多元化探索与实践》张杨 - 哔哩哔哩基础架构部 资深研发工程师2.《汽车之家基于 Flink 的实时计算平台 3.0 建设实践》邸星星 - 汽车之家实时计算平台负责人3.《腾讯新闻基于 Flink + PipeLine 模式的应用与实践》罗强 - 腾讯新闻商业化数据工程师4.《Native Flink on K8S 在小红书的实践》何军 - 小红书数据流团队资深研发工程师

核心技术专场，由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink 新一代流计算和容错 - 阶段总结和展望》梅源 - 阿里巴巴开源大数据架构师，Apache Flink 引擎架构师，Apache Flink Committer2.《Improvements of Job Scheduler and Query Execution on Flink OLAP》方勇 - 字节跳动基础架构工程师3.《面向流批一体的 Flink Runtime 新进展》高赟 - 阿里巴巴技术专家，Apache Flink Committer4.《Trisk：在 Flink 上实现以 task 为中心的流处理动态 reconfiguration 的 control plane》毛言粲 - 新加坡国立大学

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍吴良波，网易JAVA技术专家更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

Apache Flink核心技术专场数据的价值在于数据分析，而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向，并回归技术本质，打造Flink全方位技术盛宴。讲师介绍唐云，Apache Flink Contributor，阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

FFA2024流式湖仓专场由 Apache Flink 核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题，更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。

核心技术专场由 Apache Flink 核心贡献者与阿里云智能、字节跳动、网易、美团、蚂蚁金服等公司的一线技术专家解析 Flink 2.0 技术动向与应用实践。

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授，帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授，帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题，更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。

Flink Forward 行业实践“Apache Flink 在翼支付的实践应用”尹春光 翼支付高级大数据开发工程师

Flink Forward 行业实践“中原银行OLAP架构实时化演进”杜威科 中原银行实时计算平台负责人