实时计算 Flink
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
深入解读 Flink 1.17
Apache Flink 是领先的流处理标准,流批统一的数据处理概念在越来越多的公司中得到认可。Apache Flink 社区在3月份发布了1.17大版本,Flink 1.17 有172位贡献者热情参与,完成了7个 FLIP 和600多个 issue,为社区带来了许多令人兴奋的新功能和改进。相比1.16版本,Flink 1.17 侧重提升了引擎的批处理的性能和完善了流处理语义,使得用户可以实现更简化更实时的数据仓库,朝着 Streaming Warehouse 领域迈进了一大步。讲师/嘉宾简介徐榜江(雪尽) 阿里云 Flink 数据通道负责人Apache Flink PMC Member & Committer ,Flink 1.17 Release Manager
Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”
Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”张彬美团数据系统研发工程师董剑辉美团数据系统研发工程师
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人
Flink Forward 核心技术 “Flink state的优化与remote state的探索”
Flink Forward 核心技术 “Flink state的优化与remote state的探索”张杨bilibili 资深开发工程师
Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”
Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”宋宇航 中信建投证券流计算技术专家王若梦 中信建投证券实时数仓项目负责人
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”王磊 SelectDB 资深大数据研发专家
Flink Forward 平台建设“小米基于Flink的实时计算资源治理实践”
Flink Forward 平台建设“小米基于Flink的实时计算资源治理实践”张蛟 小米高级软件工程师
Flink Forward Asia 实时风控专场 “Airwallex 基于Flink 打造实时风控系统”
Flink Forward Asia 实时风控专场 “Airwallex 基于Flink 打造实时风控系统”董大凡 Airwallex 风控团队研发经理
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”耿飙 阿里云开发工程师胡俊涛 阿里云开发工程师
Flink Forward Asia 实时风控专场 “Flink CEP 在抖音电商的业务实践”
Flink Forward Asia 实时风控专场 “Flink CEP 在抖音电商的业务实践”张健 字节跳动数据工程师
Flink Forward Asia 生产实践专场 “基于云原生的集群自愈系统 Flink Cluster Inspector”
Flink Forward Asia 生产实践专场 “基于云原生的集群自愈系统 Flink Cluster Inspector”张韦杰 阿里云开发工程师许雷力 阿里云技术专家
实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"
实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"朱杰Elastic资深解决方案架构师赵弘扬阿里云高级产品专家
实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"
实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"徐闻春阿里巴巴技术专家
Flink Forward Asia 2022 平台建设 11.27 下午
平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介王世涛|货拉拉大数据实时研发平台负责董剑辉|美团数据系统研发工程师张彬|美团数据系统研发工程师穆纯进|联通数科实时计算团队负责人,Apache StreamPark Contributor周超|小米软件开发工程师王华杰|Apache StreamPark PPMC, 社区发起人
Flink Forward Asia 2022 实时湖仓 11.27 上午
实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介李劲松|阿里巴巴高级技术专家,Apache Flink PMC王磊|SelectDB 资深大数据研发专家、Apache Doris C汤楚熙|美团数据系统研发工程师周跃跃|OceanBase 架构师谢寅|StarRocks 社区技术布道师
Flink Forward Asia 2022 行业案例 11.26
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介欧锐|满帮实时计算团队负责人张剑|米哈游大数据实时计算团队负责人林志浩|蔚来自动驾驶 ado 部门资深软件开发工程师周磊|集度汽车数据部门实时方向负责人 & Apache Flink Contributor顾云|集度汽车数据开发专家张庭|阿里巴巴菜鸟网络高级数据研发工程师
Flink Forward Asia 2021 Hackathon
首届 Flink Forward Asia Hackathon,本次比赛由 Apache Flink 社区联手阿里云 ACE、 Pravega 社区、DELL 联合举办。本次比赛为开放式命题,以实时计算为主题,以 Flink 为工具,解决大家日常学习和工作中遇到的实际问题。可以是气象预测、城市交通管理、金融交易监察这样关乎国计民生的选题;也可以是提升购物体验、增强游戏互动性、个人运动管理、社交等改善生活中琐碎点滴的选题;还可以是对 Flink 本身的创新和改进。选手需要使用(但不仅限于使用)Flink 生态里的各种工具,包括统计分析、机器学习、复杂事件处理、各类 connector,StatefulFunction 等等来完成自己的选题。共计 29 支队伍进入决赛
Flink Forward Asia 2021 实时数据湖
来自阿里巴巴、字节跳动、网易的技术专家们将解读如何构建数据湖平台、简化实时数据入湖入仓等相关问题,更有 Flink + Iceberg、Flink + Hudi 构建流式数据湖最佳实践。讲师/嘉宾简介1.《字节跳动实时数据湖构建的探索和实践》李延加 - 字节跳动数据平台研发工程师,Apache Hudi PMC Member & Committer2.《Flink CDC 如何简化实时数据入湖入仓》徐榜江 - 阿里巴巴高级开发工程师,Apache Flink Committer,Flink CDC Maintainer伍翀 - 阿里巴巴技术专家,Apache Flink PMC Member & Committer3.《Flink + Iceberg 构建网易湖仓一体》马进 - 网易数据科学中心在线数据和实时计算团队负责人4.《使用 Flink Hudi 构建流式数据湖平台》陈玉兆 - 阿里巴巴技术专家,Apache Hudi Committer刘大龙 - 阿里巴巴开发工程师5.《Apache Flink 集成 Apache Iceberg 最佳实践》胡争 - 阿里巴巴技术专家,Apache Iceberg & HBase PMC
The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍陈玉兆,Apache Calcite PMC,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
菜鸟供应链实时数据技术架构的演进 | 实时数仓专场
实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍贾元乔,菜鸟高级数据技术专家更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍伍翀,阿里巴巴技术专家李劲松,阿里巴巴技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Apache Flink AI生态系统工作 | 人工智能专场
人工智能专场人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用,为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍陈戊超,阿里巴巴技术专家高赟,阿里巴巴技术专家更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场
Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍贺小令,Apache Flink Contributor,阿里巴巴技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍王治江,Apache Flink Committer,阿里巴巴高级技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
2024FFA分论坛-生产实践2
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-核心技术2
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践,重点探讨 Flink 的核心技术(如状态管理、容错机制、数据传输、大规模调度和核心算法等)在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
2024FFA分论坛-生产实践1
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效,安全,敏捷地落地实时数据处理框架。
2024FFA-分论坛-核心技术专场1
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析Flink技术动向与应用实践,重点探讨Flink的核心技术在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
2024FFA主论坛
适逢Apache Flink诞生10周年,今年的FFA与广大开发者分享Flink过去十年在技术和生态方面的演进历程及关键成果。同时,基于当前AI时代的新场景,展望未来十年Flink的发展方向和规划。大会还将为您提供全面了解Flink2.0版本的机会,并与业界领袖共同探讨Apache Flink的过去、现在及未来,以及其在实际应用中的潜力。
Streaming Lakehouse Meetup
本次 Meetup 邀请了来自阿里巴巴、字节跳动的七位技术专家,聚焦大规模 CDC 数据入湖实践、Flink 一站式湖仓一体构建、流式数据湖关键特性以及统一的 RSS 等,全方位解析 Streaming Lakehouse 最前沿的技术,最新的产业实践!Flink、Paimon、Celeborn、Flink CDC、StarRocks 多个开源项目汇聚在一起,会碰撞出怎样的火花?敬请期待! 讲师: 李劲松 阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家 徐榜江 阿里云 Flink 数据通道负责人 刘大龙 阿里云研发工程师 李国君 字节跳动基础架构工程师 周克勇 阿里云/数据湖Spark引擎负责人 曾庆栋 阿里云高级开发工程师 王洪顺 阿里云大数据开发工程师
Flink Forward 平台建设 “Apache StreamPark 让Flink开发管理更简单”
Flink Forward 平台建设 “Apache StreamPark 让Flink开发管理更简单”王华杰Apache StreamPark PPMC 社区发起人
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员
Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”
Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”刘大龙 阿里云工程师张芒 快手大数据架构工程师
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer
Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”
Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”范瑞 Apache StreamPark Committer
Flink Forward 行业案例“Flink在蔚来自动驾驶AO部门的运用”
Flink Forward 行业案例“Flink在蔚来自动驾驶AO部门的运用”林志浩 蔚来资深数据开发工程师
Flink Forward 实时湖仓“美团买菜基于Flink的实时数据建设实践”
Flink Forward 实时湖仓“美团买菜基于Flink的实时数据建设实践”严书 美团买菜实时数仓技术负责人
Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”
Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”羊艺超 快手实时数据开发工程师冯立 快手实时数据开发工程师