实时计算 Flink
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
Flink Forward 核心技术 “基于Log的通用增量Checkpoint在美团的进展”
Flink Forward 核心技术 “基于Log的通用增量Checkpoint在美团的进展”王非凡美团数据平台计算引擎工程师
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员
Flink Forward 行业实践“Apache Flink 在翼支付的实践应用”
Flink Forward 行业实践“Apache Flink 在翼支付的实践应用”尹春光 翼支付高级大数据开发工程师
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”孙家宝Xtransfer基础架构团队
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”王磊 SelectDB 资深大数据研发专家
Flink Forward 平台建设“阿里实时计算Flink自动调优实践”
Flink Forward 平台建设“阿里实时计算Flink自动调优实践”钟旭阳 阿里实时计算Flink自动调休实践
Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”
Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”范瑞 Apache StreamPark Committer
Flink Forward 行业案例“集度汽车Flink on native k8s 的应用与实践”
Flink Forward 行业案例“集度汽车Flink on native k8s 的应用与实践”顾云 集度汽车数据开发专家周磊 集度汽车数据部门实时方向负责人
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”张剑 米哈游实时计算团队负责人
Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”
Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”羊艺超 快手实时数据开发工程师冯立 快手实时数据开发工程师
Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”
Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”姜伟华(果贝) 阿里云Hologres负责人
实时数仓workshop北京站“flink x Hologres 构建企业级一站式实时数仓”
实时数仓workshop北京站“flink x Hologres 构建企业级一站式实时数仓”刘一鸣阿里云高级产品专家
Flink Forward Asia 2022 数据集成 11.27 上午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介王林红|易车数据平台负责人韩飞|京东资深技术专家,Apache Flink Contributor唐尚文|顺丰科技 大数据平台研发高级工程师孙家宝|XTransfer 基础架构团队 技术专家
Flink Forward Asia 2022 数据集成 11.26 下午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江|阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航|阿里云高级开发工程师,Apache Flink Contributor & Flink CDC Maintainer袁奎|小红书高级开发工程师胡焕|小米计算平台高级工程师张军|科杰科技大数据架构师,Apache Flink、Iceberg、StreamPark Contributor
Flink Forward Asia 2022 流批一体 11.26 下午
流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例,详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介张静|快手技术专家,Apache Flink/Calcite Committer马年圣|蚂蚁集团数据技术专家,实时数仓架构师王鑫|蚂蚁集团高级技术专家,Apache Storm PMC,Apache RocketMQ Committer,Apache IoTDB Committer杨涵冰|上海数禾信息科技有限公司 大数据架构师张颖|京东数据分析优化部算法开发工程师,Alink、DeepLearning on Flink Contributor
Flink Forward Asia 2022 行业案例 11.27 上午
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介连序全|中泰证券大数据中心实时计算架构师杜威科|中原银行流计算平台负责人尹春光|翼支付高级大数据开发工程师王若梦|中信建投证券实时数仓项目负责人宋宇航|中信建投证券流计算技术专家张兴|平安证券经纪大数据基础平台负责人
Flink Forward Asia 2022 核心技术
由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践,回归技术本质,打造全方位技术盛宴。讲师/嘉宾简介梅源|阿里云 Flink 存储引擎团队的负责人,Apache Flink 引擎架构师,Apache Flink PMC & Committer宋辛童|阿里云高级技术专家,Apache Flink PMC Member & Committer朱翥|阿里云高级技术专家,Apache Flink PMC & Committer曹帝胄|字节跳动基础架构工程师付典|阿里云高级技术专家,Apache Flink PMC & Committer
"Apache Flink Meetup 北京站《Flink 1.16 Preview: Hive SQL 如何平迁到 Flink SQL 》
Apache Flink Meetup 北京站主题:Flink 1.16 Preview: Hive SQL 如何平迁到 Flink SQL 讲师:伍翀 阿里巴巴高级技术专家
阿里云数据湖技术交流会
数据湖无疑是近几年大数据领域最火热的一个方向,那到底什么是数据湖?数据湖的架构和核心技术有哪些?企业应该如何构建、管理和使用数据湖?阿里云的开源大数据团队在数据湖领域有多年的深耕和实战经验。7月17日,09:00-12:40,DataFun将联合阿里云开源大数据团队举办DataFunTalk技术交流会:阿里云数据湖技术专场,将邀请到来自阿里云数据湖存储、数据湖计算、数据湖构建和管理团队的技术专家给大家做一次从数据湖架构到核心技术到平台构建的全方位介绍与分享。讲师/嘉宾简介陈鑫伟(熙康)- 数据湖概念及架构简介熊佳树(履霜)- 数据湖统一元数据与权限杨庆苇(轻为)- 数据湖管理及优化孙大鹏(诚历)- JindoData新一代数据湖存储加速毕岩(寻径)- 基于DeltaLake构建数据湖仓体系范佚伦(子灼) - 基于Spark的云原生数据湖分析实践陈玉兆(玉兆) - 实时数据湖
Flink Forward Asia 2021 Hackathon
首届 Flink Forward Asia Hackathon,本次比赛由 Apache Flink 社区联手阿里云 ACE、 Pravega 社区、DELL 联合举办。本次比赛为开放式命题,以实时计算为主题,以 Flink 为工具,解决大家日常学习和工作中遇到的实际问题。可以是气象预测、城市交通管理、金融交易监察这样关乎国计民生的选题;也可以是提升购物体验、增强游戏互动性、个人运动管理、社交等改善生活中琐碎点滴的选题;还可以是对 Flink 本身的创新和改进。选手需要使用(但不仅限于使用)Flink 生态里的各种工具,包括统计分析、机器学习、复杂事件处理、各类 connector,StatefulFunction 等等来完成自己的选题。共计 29 支队伍进入决赛
Flink Forward Asia 2021 核心技术 2
核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink 新一代流计算和容错 - 阶段总结和展望》梅源 - 阿里巴巴开源大数据架构师,Apache Flink 引擎架构师,Apache Flink Committer2.《Improvements of Job Scheduler and Query Execution on Flink OLAP》方勇 - 字节跳动基础架构工程师3.《面向流批一体的 Flink Runtime 新进展》高赟 - 阿里巴巴技术专家,Apache Flink Committer4.《Trisk:在 Flink 上实现以 task 为中心的流处理动态 reconfiguration 的 control plane》毛言粲 - 新加坡国立大学
Flink Forward Asia 2021 核心技术 1
核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink SQL 在快手的落地和扩展》张静 - 快手实时计算团队技术专家,Apache Flink Committer张芒 - 快手实时计算团队技术专家2.《Flink State-Backend Improvements and Evolution in 2021》李钰 - 阿里巴巴资深技术专家,ASF Member,Apache Flink & HBase PMC唐云 - 阿里巴巴技术专家,Apache Flink committer3.《Powering HTAP at ByteDance with Apache Flink》刘洋 - 字节跳动基础架构工程师,Apache Flink Contributor邹丹 - 字节跳动基础架构工程师,Apache Flink Contributor4.《深入解析 Flink 细粒度资源管理》郭旸泽 - 阿里巴巴高级开发工程师,Apache Flink Committer5.《Flink Join 算子优化》孙梦瑶 - 美团资深开发工程师
Apache Flink Meetup · 北京站
问题与互动页面(戳我进入)5月22日,Apache Flink 社区 1.13 新版本发布 Meetup 来啦!本次Apahce Flink Meetup 分为上下两场,嘉宾分别来自阿里巴巴、字节跳动、快手、爱奇艺和小红书。上半场将由 4 位技术专家带来 Flink 1.13 版本新功能的深入解读。例如 Winddow TVF,DataStream & Table API 交互等;下半场将另有 4 位资深行业技术专家分享 Flink 在互娱行业中的实践应用。全方位解析包括精准推荐、实时数仓、数据分析等在内的行业面临的典型问题。活动亮点超多实用干货,一方面第一时间 get 到 1.13 版本新 feature 和功能提升;另一方面也可以学习到如何探索 Flink 在互娱场景中的实践应用,例如今日头条,抖音背后的核心 - 基于 Flink 的推荐特征体系;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:合作伙伴
基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍申毅杰,StreamNative资深工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
Apache Flink在中国农业银行的探索和实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍侯鑫磊,中国农业银行研发中心高级研发工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
流处理基准测试 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍金浩,英特尔软件工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍杨巍威,Cloudera 资深软件工程师杨弢,阿里巴巴技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场
实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍鲁昊,美团点评高级技术专家更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
bilibili 实时平台的架构与实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍郑志升,bilibili 实时平台负责人更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍徐帅,阿里巴巴高级技术专家宋辛童,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍王治江,Apache Flink Committer,阿里巴巴高级技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
2024FFA分论坛-生产实践2
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-数据集成1
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-数据集成2
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-生产实践3
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-核心技术2
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践,重点探讨 Flink 的核心技术(如状态管理、容错机制、数据传输、大规模调度和核心算法等)在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
2024FFA分论坛-Data+Ai
FFA2024Data+AI专场由Apache Flink核心贡献者与来自哔哩哔哩、抖音集团、Elastic、京东、硕橙科技等公司的一线技术专家带来,聚焦实时大数据处理与人工智能的前沿融合,共同探讨如何利用Flink助力AI大模型技术的实时化升级,议题涵盖但不限于特征工程、训练、推理、大模型架构优化、以及实时AI大模型在各行业领域的创新应用。
Flink Forward 平台建设 “联通Flink实时计算平台运维实践”
Flink Forward 平台建设“联通Flink实时计算平台运维实践”穆纯进联通数科实时计算团队负责人
Flink Forward AI特征工程 “基于Flink ML搭建的智能运维算法服务及应用”
Flink Forward AI特征工程 “基于Flink ML搭建的智能运维算法服务及应用”张颖莹阿里云计算平台算法专家
Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”
Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”宋宇航 中信建投证券流计算技术专家王若梦 中信建投证券实时数仓项目负责人