实时计算 Flink
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
"Apache Flink Meetup 北京站《Flink 1.16 Preview: Hive SQL 如何平迁到 Flink SQL 》
Apache Flink Meetup 北京站主题:Flink 1.16 Preview: Hive SQL 如何平迁到 Flink SQL 讲师:伍翀 阿里巴巴高级技术专家
Flink Forward Asia 2021 生产实践
本专场集结阿里巴巴、腾讯、快手、小米、美团的技术专家探讨超大规模Flink集群运维与大规模作业稳定性优化实践等议题。讲师/嘉宾简介1.《阿里超大规模 Flink 集群运维体系介绍》王华 - 阿里云实时计算高级运维专家2.《Flink 引擎在快手的深度优化与生产实践》刘建刚 - 快手实时计算团队技术专家3.《大规模作业的稳定性优化实践》邱从贤 - 腾讯数据平台高级开发工程师,Apache Flink Committer4.《小米基于 Flink 的稳定性优化与实践》张蛟 - 小米大数据部高级软件工程师,Apache Flink Contributor5.《美团 Flink 大作业部署与状态稳定性优化实践》冯斐 - 美团数据平台计算引擎组工程师王非凡 - 美团数据平台计算引擎工程师,Apache Flink Contributor
Flink Forward Asia 2021 实时数据湖
来自阿里巴巴、字节跳动、网易的技术专家们将解读如何构建数据湖平台、简化实时数据入湖入仓等相关问题,更有 Flink + Iceberg、Flink + Hudi 构建流式数据湖最佳实践。讲师/嘉宾简介1.《字节跳动实时数据湖构建的探索和实践》李延加 - 字节跳动数据平台研发工程师,Apache Hudi PMC Member & Committer2.《Flink CDC 如何简化实时数据入湖入仓》徐榜江 - 阿里巴巴高级开发工程师,Apache Flink Committer,Flink CDC Maintainer伍翀 - 阿里巴巴技术专家,Apache Flink PMC Member & Committer3.《Flink + Iceberg 构建网易湖仓一体》马进 - 网易数据科学中心在线数据和实时计算团队负责人4.《使用 Flink Hudi 构建流式数据湖平台》陈玉兆 - 阿里巴巴技术专家,Apache Hudi Committer刘大龙 - 阿里巴巴开发工程师5.《Apache Flink 集成 Apache Iceberg 最佳实践》胡争 - 阿里巴巴技术专家,Apache Iceberg & HBase PMC
Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场
实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍徐振中,Senior Software Engineer at Netflix更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
bilibili 实时平台的架构与实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍郑志升,bilibili 实时平台负责人更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍徐帅,阿里巴巴高级技术专家宋辛童,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
2024FFA分论坛-生产实践4
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-生产实践3
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-行业解决方案2
FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享,探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案,通过这些案例,一起解析技术挑战,分享业务成果,促进实时数据处理技术的创新与发展。
2024FFA分论坛-流式湖仓3
FFA2024流式湖仓专场由 Apache Flink 核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构,探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践,如何帮助业务获得更实时的数据来驱动业务决策,并实现数据管理的降本增效。
2024FFA-分论坛-核心技术专场1
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析Flink技术动向与应用实践,重点探讨Flink的核心技术在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人
Flink Forward 行业实践“Flink 在中泰证券的实践与应用”
Flink Forward 行业实践“Flink 在中泰证券的实践与应用”连序全 中泰证券大数据中心实时计算架构师
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”孙家宝Xtransfer基础架构团队
Flink Forward 核心技术“Flink OLAP 在在字节跳动的查询优化和落地实践”
Flink Forward 核心技术“Fliink OLAP 在在字节跳动的查询优化和落地实践”何润康 字节跳动基础架构工程师
Flink Forward 核心技术“Apache Flink 1.16 功能解读”
Flink Forward 核心技术“Apache Flink 1.16 功能解读”黄兴勃 阿里云高级开发工程师
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”冯斐 美团数据平台计算引擎工程师
Flink Forward Asia 生产实践专场 “快手Flink的稳定性和功能性扩展”
Flink Forward Asia 生产实践专场 “快手Flink的稳定性和功能性扩展”刘建刚 快手技术专家
实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"
实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"汪宇阿里巴巴淘菜菜事业部数据技术专家
Flink Forward Asia 2022 平台建设 11.27 下午
平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介王世涛|货拉拉大数据实时研发平台负责董剑辉|美团数据系统研发工程师张彬|美团数据系统研发工程师穆纯进|联通数科实时计算团队负责人,Apache StreamPark Contributor周超|小米软件开发工程师王华杰|Apache StreamPark PPMC, 社区发起人
Flink Forward Asia 2022 数据集成 11.26 下午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江|阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航|阿里云高级开发工程师,Apache Flink Contributor & Flink CDC Maintainer袁奎|小红书高级开发工程师胡焕|小米计算平台高级工程师张军|科杰科技大数据架构师,Apache Flink、Iceberg、StreamPark Contributor
Flink Forward Asia 2022 实时风控
实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。讲师/嘉宾简介林佳|网易互娱技术中心计费实时平台与 SDK 技术负责人,Apache Flink Contributor,Flink CDC Contributor张健|字节跳动数据工程师周文跃|运营数据产品部-风控数据产品组架构师耿飙|阿里云开发工程师,Flink Contributor胡俊涛|阿里云开发工程师,Flink Contributor董大凡|AirWallex 风控团队研发经理
Flink Forward Asia 2022 平台建设 11.27 上午
平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介周凯波|阿里云高级技术专家,Apache Flink Contributor李志刚|蚂蚁集团 高级技术专家、蚂蚁集团流计算平台负责人李恒|爱奇艺资深研发工程师贾承昆|知乎大数据架构负责人亓文凯|开源 Dinky Maintainer
实时数仓Workshop(北京站)
9月23日,实时数仓Workshop · 北京站将聚焦Flink&Hologres实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由业内各界的实时数仓实践者一同探讨实时计算未来趋势、开源生态发展、实时数仓场景在各行业中的实践与应用及平台智能化的探索与思考。讲师/嘉宾简介1、刘一鸣,阿里云高级产品专家2、汪宇,阿里巴巴淘菜菜事业部数据技术专家3、康凯,阿里巴巴技术专家4、乐洋 阿里云高级产品专家5、朱杰 Elastic 资深解决方案架构师 赵弘扬 阿里云高级产品专家
ApacheCon Asia 2022 阿帕奇亚洲大会流处理论坛 7/30
作为当今大数据领域的趋势,流式数据处理的潜在价值正在被不断发掘。如今,很多企业都渴望更及时地洞察自己的数据,曾经的“批处理”思维也正在迅速被流式处理所取代。越来越多的公司,无论大小,都在重新思考技术架构时把实时性作为第一考量,并开始用强大的开源引擎如 Apache Flink, Apache Spark, Apache Kafka, Apache Pulsar, Apache Storm 等构建自己的实时计算平台。 在本次 ApacheCon 上,Apache 软件基金会成员、阿里云 EMR 平台技术及 Flink 存储引擎团队负责人李钰将携手专家团带来“流处理”分论坛分享。在该分论坛中,您将了解到一线大厂把这些 Apache 项目应用到其生产环境中的实际经验,以及这些 Apache 项目生态的最新发展和流计算技术未来的发展方向。 讲师/嘉宾简介 徐榜江(雪尽)- 基于 Flink CDC 和 Hudi 高效地构建实时数据湖 盛宇帆 - 使用 Apache Pulsar 开发基于 Apache Flink 的流批一体化应用 毕岩(寻径) - 基于数据湖格式构建流式增量数仓——CDC 张雨霏 - 介绍用于 Pulsar 和 PulsarCatalog 的 Flink SQL 连接器 赵波 - 让 Flink 在 K8s 上运行的更好 付睿 - 以云原生的方式使用 Apache Pulsar 函数
Flink CDC Meetup
活动介绍:为了促进 Flink CDC 技术的交流和发展,我们将于 5 月 21 日在线举办 Flink CDC Meetup。本次 Meetup 由阿里巴巴技术专家,Apache Flink PMC Member & Committer 伍翀 (云邪) 作为出品人,邀请了来自阿里巴巴、XTransfer、顺丰、OceanBase、大健云仓的大咖分享 Flink CDC 在各场景中的最佳实践、生产经验、技术原理等。嘉宾简介:伍翀(云邪)- 阿里巴巴技术专家,Apache Flink PMC Member & Committer徐榜江(雪尽)- 阿里巴巴高级开发工程师,Apache Flink Committer & Flink CDC Maintainer孙家宝 - XTransfer 资深 Java 开发工程师,Flink CDC Maintainer覃立辉 - 顺丰大数据研发工程师王赫(川粉)- OceanBase 技术专家龚中强 - 大健云仓基础架构部负责人
Flink Forward Asia 2021 行业实践 3
行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《Apache Flink 在斗鱼的应用与实践》夏畅 - 斗鱼实时计算负责人2.《作业帮基于 Flink 的实时计算平台实践》张迎 - 作业帮实时计算负责人3.《Flink 在易车落地应用与实践》王林红 - 易车数据平台负责人4.《如何设计信息安全领域的实时安全基线引擎》覃永靖 - 奇安信集团技术委员会委员、高级技术专家、NGSOC 事业部安全引擎团队架构师5.《特来电云平台智能运维应用实践》刘桂海 - 特来电平台智能保障团队技术负责人
Flink Forward Asia 2021 核心技术 2
核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink 新一代流计算和容错 - 阶段总结和展望》梅源 - 阿里巴巴开源大数据架构师,Apache Flink 引擎架构师,Apache Flink Committer2.《Improvements of Job Scheduler and Query Execution on Flink OLAP》方勇 - 字节跳动基础架构工程师3.《面向流批一体的 Flink Runtime 新进展》高赟 - 阿里巴巴技术专家,Apache Flink Committer4.《Trisk:在 Flink 上实现以 task 为中心的流处理动态 reconfiguration 的 control plane》毛言粲 - 新加坡国立大学
Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍崔星灿,Apache Flink Committer,York University 博士后更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍章剑锋Apache Member,阿里巴巴高级技术专家孙金城Apache Flink PMC,阿里巴巴高级技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍张俊,Apache Flink Contributor,OPPO大数据平台研发负责人更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
携程实时智能检测平台实践 | 人工智能专场
人工智能专场人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用,为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍潘国庆,携程大数据研发经理更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场
Stateful Functions | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍Tzu-Li(Gordon)Tai,Apache Flink PMC,Ververica Software Engineer更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
2024FFA分论坛-数据集成1
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-核心技术2
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践,重点探讨 Flink 的核心技术(如状态管理、容错机制、数据传输、大规模调度和核心算法等)在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
阿里云实时计算Flink线下训练营
本次实战营由阿里云 Flink 专家与传智教育高级顾问联合出品,项目依托于传智教育博学谷线上教育平台数字化建设场景,真实还原实时计算业务细节,学完后掌握基于阿里云的 Flink CDC,Paimon,StarRocks 等核心技术,收获完整实时数仓与流式数据湖构建经验。 讲师/嘉宾 赵晨杰-黑马程序员技术专家张敬存-黑马程序员技术专家
深入解读 Flink 1.17
Apache Flink 是领先的流处理标准,流批统一的数据处理概念在越来越多的公司中得到认可。Apache Flink 社区在3月份发布了1.17大版本,Flink 1.17 有172位贡献者热情参与,完成了7个 FLIP 和600多个 issue,为社区带来了许多令人兴奋的新功能和改进。相比1.16版本,Flink 1.17 侧重提升了引擎的批处理的性能和完善了流处理语义,使得用户可以实现更简化更实时的数据仓库,朝着 Streaming Warehouse 领域迈进了一大步。讲师/嘉宾简介徐榜江(雪尽) 阿里云 Flink 数据通道负责人Apache Flink PMC Member & Committer ,Flink 1.17 Release Manager