实时计算 Flink
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
flink forward asia 2023主论坛
Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线厂商围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。
实时数仓Workshop(广州站)
9月15日,实时数仓Workshop · 广州站将聚焦Flink&Hologres实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由业内各界的实时数仓实践者一同探讨实时计算未来趋势、开源生态发展、实时数仓场景在各行业中的实践与应用及平台智能化的探索与思考。讲师/嘉宾简介1、李佳林 阿里云实时计算产品经理2、余文兵 阿里巴巴技术专家 阿里巴巴技术专家3、徐鑫豪 Lazada数据技术专家 Lazada数据技术专家4、朱杰 Elastic 资深解决方案架构师12年大数据相关研发和架构工作,熟悉Elastic相关的技术栈,使用elasticsearch构建了大规模文档搜索平台和财经资讯搜索平台.洪阳 阿里云高级产品专家 7年大数据及AI产品商业化操盘经历,负责阿里云检索分析产品及业务相关工作。
Flink Forward Asia 2021 主会场
本届 Flink Forward Asia 将由阿里巴巴开源技术委员会负责人贾扬清进行开场演讲。Apache Flink 中文社区创始人王峰、字节跳动计算基础架构负责人师锐、中国工商银行大数据平台负责人袁一、Pravega 中国社区创始人滕昱将分享基于 Flink 的深度实践以及 Flink 下一步的的规划与展望。讲师/嘉宾简介:阿里巴巴开源技术委员会负责人贾扬清Apache Flink 中文社区创始人王峰字节跳动计算基础架构负责人师锐中国工商银行大数据平台负责人袁一Pravega 中国社区创始人滕昱https://developer.aliyun.com/special/ffa2021/live
使用Flink实时发现GitHub最热项目
通过 Flink 对 GitHub 的实时事件流进行分析,并通过报表直观展示,了解 GitHub 的最新热门趋势、特定仓库或者组织的活跃度。您可以通过本视频对 Flink SQL 基础能力和 Flink 实时处理特性有直观的初步体验。
阿里云数据湖技术交流会
数据湖无疑是近几年大数据领域最火热的一个方向,那到底什么是数据湖?数据湖的架构和核心技术有哪些?企业应该如何构建、管理和使用数据湖?阿里云的开源大数据团队在数据湖领域有多年的深耕和实战经验。7月17日,09:00-12:40,DataFun将联合阿里云开源大数据团队举办DataFunTalk技术交流会:阿里云数据湖技术专场,将邀请到来自阿里云数据湖存储、数据湖计算、数据湖构建和管理团队的技术专家给大家做一次从数据湖架构到核心技术到平台构建的全方位介绍与分享。讲师/嘉宾简介陈鑫伟(熙康)- 数据湖概念及架构简介熊佳树(履霜)- 数据湖统一元数据与权限杨庆苇(轻为)- 数据湖管理及优化孙大鹏(诚历)- JindoData新一代数据湖存储加速毕岩(寻径)- 基于DeltaLake构建数据湖仓体系范佚伦(子灼) - 基于Spark的云原生数据湖分析实践陈玉兆(玉兆) - 实时数据湖
Flink Forward Asia 生产实践专场 “抖音实时数仓保障与治理实践”
Flink Forward Asia 生产实践专场 “抖音实时数仓保障与治理实践”茅旭辉 字节跳动实时数据研发工程师李建国 字节跳动实时数据研发工程师
Flink Forward 全球在线会议中文精华版0425
【收藏+下载】Flink年度学习资料大礼包!问题收集页面:https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/相关会议:Flink Forward 全球在线会议中文精华版0425Flink Forward 全球在线会议中文精华版0426Flink Forward · 全球首个在线会议中文精华版普惠全球开发者!这一次,格外与众不同。Apache 顶级项目盛会 Flink Forward 在线会议集结欧洲、北美洲、亚洲众多国际大厂资深技术专家跨时区免费在线分享。中文精华版将由 Apache Member 、Flink PMC 及社区投票共同筛选大会精彩 talk,翻译并进行中文解说,让你足不出户尽享优质内容。讲师信息滕昱|戴尔科技集团软件开发总监王峰(莫问)| 阿里云计算平台事业部实时计算与开放平台部门负责人,资深技术专家个人简介:目前带领团队基于Flink、Hadoop以及Kubernetes开源技术体系打造的大数据实时计算平台,不仅服务于阿里集团(淘宝、天猫、聚划算、高德、优酷、飞猪和菜鸟等)所有实时数据业务,同时也通过阿里云为广大中小企业提供全球领先的实时计算产品服务。杨旭(品数)|阿里巴巴云机器学习平台PAI中基础机器学习算法的负责人,资深算法专家个人信息:2004年获南开大学数学博士学位;随后在南开大学信息学院从事博士后研究工作;2006年加入微软亚洲研究院,进行符号计算、大规模矩阵计算及机器学习算法研究;2010年加入阿里巴巴,从事大数据相关的统计和机器学习算法研发。出版《重构大数据统计》,《机器学习在线:解析阿里云机器学习平台》等著作。薛康 | 滴滴技术专家,实时计算负责人。毕业于浙江大学,曾任百度高级研发工程师,对大数据生态建设有丰富经验。于茜 | 微博高级算法工程师个人信息:多年来一直在使用Flink构建实时数据处理和在线机器学习框架。此外,在社交媒体应用推荐系统方面经验丰富,有助于将最佳内容与微博用户匹配。于翔|微博机器学习研发中心-算法架构工程师。个人信息:现负责微博机器学习平台算法系统模块。主要涉及机器学习,深度学习,模型训练,大规模参数服务,模型服务等。目前专注于大规模稀疏在线学习在微博业务场景的应用曹富强|微博机器学习研发中心-系统工程师个人信息:现负责微博机器学习平台数据计算模块,主要涉及实时计算Flink、Storm、SparkStreaming,离线计算Hive、Spark等。目前专注于Flink在微博机器学习场景的应用。章剑锋(简锋)| Apache Software Foundation Member.PMC of Apache Tez, Livy, Zeppelin.Committer of Apache Pig,阿里巴巴 高级技术专家个人信息:开源界老兵,曾就职于Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家。并同时担任Apache Tez、Livy 、Zeppelin三个开源项目的PMC,以及Apache Pig的Committer。有幸很早就接触了大数据和开源,希望可以在开源领域为大数据和数据科学做点贡献。秦江杰(江杰)| Apache Kafka PMC,Apache Flink Committer,阿里巴巴高级技术专家个人信息:本科毕业于上海交大,硕士毕业于卡耐基梅陇大学,加入阿里巴巴前曾在 IBM,LinkedIn 任职。目前是 Apache Kafka PMC 和 Apache Flink Committer。杨克特(鲁尼)| Apache Member,Apache Flink PMC ,阿里巴巴高级技术专家个人信息:2011年硕士毕业于浙江大学后加入阿里巴巴,先后从事过搜索引擎,调度系统,大数据处理等核心系统的设计与研发,目前负责实时计算 Flink的SQL引擎。孙金城(金竹)| Apache Member,Apache Flink PMC,阿里巴巴高级技术专家个人信息:自2015-以来一直专注于大数据计算领域,并持续贡献于Apache Flink 社区。2011年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。2015年开始投入阿里新一代实时计算平台Blink的研发工作。早期负责搜索事业部的离线大数据处理,以及将搜索离线数据处理的计算迁移到Blink计算平台之上,之后进行Blink计算平台的查询和优化工作。于2019年负责Apache Flink Python API的整体架构开发工作。李钰(绝顶)| HBase PMC,Apache Flink Committer,阿里巴巴实时计算部高级技术专家伍翀(云邪)| Apache Flink PMC&Committer,阿里巴巴技术专家个人信息:北京理工大学硕士毕业,2015 -加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化,并活跃于 Flink 社区,于2017年初成为Apache Flink Committer,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算,热爱开源,热爱分享。问题收集页面:https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员
Apache Flink在快手实时多维分析场景的应用 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍董亭亭,快手实时计算引擎团队负责人徐明,快手大数据架构研发工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍伍翀,阿里巴巴技术专家李劲松,阿里巴巴技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Apache Paimon Meetup online:新一代流式数据湖平台开发动态及生产实践
Apache Paimon Meetup(第一期) 邀请到三位各大行业专家给大家带来主题分享。本次分享会介绍:Paimon 0.4 已经发布!本次 Meetup 会介绍 Paimon 0.4 的核心能力,用户场景,欢迎大家试用和反馈!字节在 Paimon 上提供了一个完整的 Streaming Warehouse 一致性视图,本次 Meetup 将会分享字节相关的实践和经验。来自同程的老师大规模落地了 Paimon,他将会介绍落地 Paimon 的生产实践。讲师/嘉宾简介阿里巴巴高级技术专家,Apache Flink PMC 李劲松(花名:之信)字节跳动基础架构工程师李明同程旅行大数据计算组负责人吴祥平
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人
Flink Forward 实时湖仓“Flink + StarRocks:实时数据分析新范式”
Flink Forward 实时湖仓“Flink + StarRocks:实时数据分析新范式”谢寅 StartRocket 社区技术布道师
Flink Forward Asia 2022 平台建设 11.27 下午
平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介王世涛|货拉拉大数据实时研发平台负责董剑辉|美团数据系统研发工程师张彬|美团数据系统研发工程师穆纯进|联通数科实时计算团队负责人,Apache StreamPark Contributor周超|小米软件开发工程师王华杰|Apache StreamPark PPMC, 社区发起人
Flink CDC Meetup
活动介绍:为了促进 Flink CDC 技术的交流和发展,我们将于 5 月 21 日在线举办 Flink CDC Meetup。本次 Meetup 由阿里巴巴技术专家,Apache Flink PMC Member & Committer 伍翀 (云邪) 作为出品人,邀请了来自阿里巴巴、XTransfer、顺丰、OceanBase、大健云仓的大咖分享 Flink CDC 在各场景中的最佳实践、生产经验、技术原理等。嘉宾简介:伍翀(云邪)- 阿里巴巴技术专家,Apache Flink PMC Member & Committer徐榜江(雪尽)- 阿里巴巴高级开发工程师,Apache Flink Committer & Flink CDC Maintainer孙家宝 - XTransfer 资深 Java 开发工程师,Flink CDC Maintainer覃立辉 - 顺丰大数据研发工程师王赫(川粉)- OceanBase 技术专家龚中强 - 大健云仓基础架构部负责人
流处理基准测试 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍金浩,英特尔软件工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”
Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”李明字节跳动架构工程师王义字节跳动基础架构工程师
Flink Forward AI特征工程 “字节跳动十亿级特征计算平台的建设和应用”
Flink Forward AI特征工程 “字节跳动十亿级特征计算平台的建设和应用”廖嘉逸字节跳动推荐特征生产方向负责人刘首维字节跳动推荐架构工程师
Flink Forward 行业实践“Apache Flink 在翼支付的实践应用”
Flink Forward 行业实践“Apache Flink 在翼支付的实践应用”尹春光 翼支付高级大数据开发工程师
Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”
Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”李劲松 Flink PMC
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”张剑 米哈游实时计算团队负责人
Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”
Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”羊艺超 快手实时数据开发工程师冯立 快手实时数据开发工程师
Flink Forward Asia 2022 数据集成 11.26 下午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江|阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航|阿里云高级开发工程师,Apache Flink Contributor & Flink CDC Maintainer袁奎|小红书高级开发工程师胡焕|小米计算平台高级工程师张军|科杰科技大数据架构师,Apache Flink、Iceberg、StreamPark Contributor
Flink Forward Asia 2022 生产实践 11.27
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介张蛟|小米高级软件工程师,Apache Flink Contributor张芒|快手大数据架构工程师刘大龙|阿里云工程师刘畅|字节跳动基础架构工程师钟旭阳|阿里云开发工程师,Apache Flink Contributor
Apache Flink Meetup · 北京站
问题与互动页面(戳我进入)5月22日,Apache Flink 社区 1.13 新版本发布 Meetup 来啦!本次Apahce Flink Meetup 分为上下两场,嘉宾分别来自阿里巴巴、字节跳动、快手、爱奇艺和小红书。上半场将由 4 位技术专家带来 Flink 1.13 版本新功能的深入解读。例如 Winddow TVF,DataStream & Table API 交互等;下半场将另有 4 位资深行业技术专家分享 Flink 在互娱行业中的实践应用。全方位解析包括精准推荐、实时数仓、数据分析等在内的行业面临的典型问题。活动亮点超多实用干货,一方面第一时间 get 到 1.13 版本新 feature 和功能提升;另一方面也可以学习到如何探索 Flink 在互娱场景中的实践应用,例如今日头条,抖音背后的核心 - 基于 Flink 的推荐特征体系;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:合作伙伴
Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍李锐,Apache Hive PMC,Apache Flink Contributor,阿里巴巴技术专家王刚,阿里巴巴高级开发工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer
Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”
Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”戢清雨 SmartNews 数据平台架构师
Flink Forward Asia 实时风控专场 “Airwallex 基于Flink 打造实时风控系统”
Flink Forward Asia 实时风控专场 “Airwallex 基于Flink 打造实时风控系统”董大凡 Airwallex 风控团队研发经理
Flink Forward Asia 生产实践专场 “How To Write Fast Flink SQL”
Flink Forward Asia 生产实践专场 “How To Write Fast Flink SQL”贺小令 阿里云高级技术专家
实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"
实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"徐闻春阿里巴巴技术专家
实时数仓workshop北京站"预计算技术+Hologres在阿里采集流量分析产品中的实践"
实时数仓workshop北京站"预计算技术+Hologres在阿里采集流量分析产品中的实践"康凯阿里巴巴技术专家
实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"
实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"汪宇阿里巴巴淘菜菜事业部数据技术专家
Flink Forward Asia 2022 实时湖仓 11.26
实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介姜伟华|阿里云一站式实时数仓 Hologres 总负责人冯立|快手实时数据开发工程师羊艺超|快手实时数据开发工程师周晖栋|bilibili 大数据实时团队 资深开发工程师严书|美团买菜实时数仓技术负责人戢清雨|SmatNews 数据平台架构师, Apache Iceberg Contributor
Flink Forward Asia 2022 数据集成 11.27 上午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介王林红|易车数据平台负责人韩飞|京东资深技术专家,Apache Flink Contributor唐尚文|顺丰科技 大数据平台研发高级工程师孙家宝|XTransfer 基础架构团队 技术专家
Flink Forward Asia 2022 行业案例 11.27 上午
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介连序全|中泰证券大数据中心实时计算架构师杜威科|中原银行流计算平台负责人尹春光|翼支付高级大数据开发工程师王若梦|中信建投证券实时数仓项目负责人宋宇航|中信建投证券流计算技术专家张兴|平安证券经纪大数据基础平台负责人
Flink Forward Asia 2022 行业案例 11.26
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介欧锐|满帮实时计算团队负责人张剑|米哈游大数据实时计算团队负责人林志浩|蔚来自动驾驶 ado 部门资深软件开发工程师周磊|集度汽车数据部门实时方向负责人 & Apache Flink Contributor顾云|集度汽车数据开发专家张庭|阿里巴巴菜鸟网络高级数据研发工程师