实时计算 Flink
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
实时数仓Workshop(广州站)
9月15日,实时数仓Workshop · 广州站将聚焦Flink&Hologres实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由业内各界的实时数仓实践者一同探讨实时计算未来趋势、开源生态发展、实时数仓场景在各行业中的实践与应用及平台智能化的探索与思考。讲师/嘉宾简介1、李佳林 阿里云实时计算产品经理2、余文兵 阿里巴巴技术专家 阿里巴巴技术专家3、徐鑫豪 Lazada数据技术专家 Lazada数据技术专家4、朱杰 Elastic 资深解决方案架构师12年大数据相关研发和架构工作,熟悉Elastic相关的技术栈,使用elasticsearch构建了大规模文档搜索平台和财经资讯搜索平台.洪阳 阿里云高级产品专家 7年大数据及AI产品商业化操盘经历,负责阿里云检索分析产品及业务相关工作。
Flink Forward Asia 2024 上海站|Apache Flink 的过去、现在及未来
作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于 11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(以下简称FFA)是由 Apache 官方授权的 Apache Flink 社区官方技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴的支持与技术开发者的协助下,FFA 已成功举办了六届。适逢 Apache Flink 诞生 10 周年,今年的 FFA 主论坛将与广大开发者分享 Flink 过去十年在技术和生态方面的演进历程及关键成果。同时,基于当前 AI 时代的新场景,展望未来十年 Flink 的发展方向和规划。大会还将为您提供全面了解 Flink 2.0 版本的机会,并与业界领袖共同探讨 Apache Flink 的过去、现在及未来,以及其在实际应用中的潜力。快来预约主论坛直播,享受大数据技术盛宴~ 讲师/嘉宾简介
flink forward asia 2023主论坛
Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线厂商围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。
Flink Forward AI特征工程 “字节跳动十亿级特征计算平台的建设和应用”
Flink Forward AI特征工程 “字节跳动十亿级特征计算平台的建设和应用”廖嘉逸字节跳动推荐特征生产方向负责人刘首维字节跳动推荐架构工程师
Stateful Functions | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍Tzu-Li(Gordon)Tai,Apache Flink PMC,Ververica Software Engineer更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
使用Flink实时发现GitHub最热项目
通过 Flink 对 GitHub 的实时事件流进行分析,并通过报表直观展示,了解 GitHub 的最新热门趋势、特定仓库或者组织的活跃度。您可以通过本视频对 Flink SQL 基础能力和 Flink 实时处理特性有直观的初步体验。
Flink Forward Asia 2021 主会场
本届 Flink Forward Asia 将由阿里巴巴开源技术委员会负责人贾扬清进行开场演讲。Apache Flink 中文社区创始人王峰、字节跳动计算基础架构负责人师锐、中国工商银行大数据平台负责人袁一、Pravega 中国社区创始人滕昱将分享基于 Flink 的深度实践以及 Flink 下一步的的规划与展望。讲师/嘉宾简介:阿里巴巴开源技术委员会负责人贾扬清Apache Flink 中文社区创始人王峰字节跳动计算基础架构负责人师锐中国工商银行大数据平台负责人袁一Pravega 中国社区创始人滕昱https://developer.aliyun.com/special/ffa2021/live
2024FFA分论坛-云原生
FFA2024云原生专场由Apache Flink核心贡献者与来自阿里云、网易游戏、小红书、美团、哔哩哔哩等公司的一线技术专家带来,聚焦Flink与云原生技术的结合,探讨如何在云原生环境中高效部署和深度优化Flink流批任务。通过实战经验分享,帮助开发者利用容器化、K8s、Serverless等工具,在稳定、性能、成本之间取得平衡。
Apache Flink Meetup 深圳站
8月7日,Apache Flink Meetup 深圳站来啦!本场 Meetup 邀请了来自腾讯、第四范式、阿里巴巴的 4 位资深行业技术专家,将分享 Flink 如何帮助腾讯搭建万亿级实时数据入湖利器 Auto Optimizer Service,以及开发智能化的故障诊断和配置监控工具;又如何帮助第四范式建立 OpenMLDB 数据库实时更新系统。除了企业实践的分享外,Flink 1.14 版本的新特性预览也将会在本场 Meetup 中带给大家。活动亮点【爆款话题】• Flink 如何帮忙腾讯搭建万亿级实时数据入湖利器 Auto Optimizer• Flink 如何帮助腾讯开发智能化的故障诊断和配置监控工具• Flink 如何帮助第四范式建立 OpenMLDB 数据库实时更新系统• Flink 1.14 版本将会带来哪些值得期待的功能特性与体验优化;【多重大礼】丰富周边等你拿,加入钉钉交流群就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:(Apache Flink 社区)活动议程合作伙伴
Apache Flink Meetup 北京站
Apache Flink 社区 1.16 新版本发布 Meetup 来啦!1.16 新版本 + 互娱场景实践分享不容错过的开发者盛筵!讲师/嘉宾简介1、batch底层优化:长耕2、batch应用场景:云邪3、flink cdc:庆盛4、table store:之信5、state:俞少
Apache Flink Meetup · 北京站
问题与互动页面(戳我进入)5月22日,Apache Flink 社区 1.13 新版本发布 Meetup 来啦!本次Apahce Flink Meetup 分为上下两场,嘉宾分别来自阿里巴巴、字节跳动、快手、爱奇艺和小红书。上半场将由 4 位技术专家带来 Flink 1.13 版本新功能的深入解读。例如 Winddow TVF,DataStream & Table API 交互等;下半场将另有 4 位资深行业技术专家分享 Flink 在互娱行业中的实践应用。全方位解析包括精准推荐、实时数仓、数据分析等在内的行业面临的典型问题。活动亮点超多实用干货,一方面第一时间 get 到 1.13 版本新 feature 和功能提升;另一方面也可以学习到如何探索 Flink 在互娱场景中的实践应用,例如今日头条,抖音背后的核心 - 基于 Flink 的推荐特征体系;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:合作伙伴
2024FFA-分论坛-核心技术专场1
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析Flink技术动向与应用实践,重点探讨Flink的核心技术在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
Flink Forward 平台建设 “Apache StreamPark 让Flink开发管理更简单”
Flink Forward 平台建设 “Apache StreamPark 让Flink开发管理更简单”王华杰Apache StreamPark PPMC 社区发起人
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”孙家宝Xtransfer基础架构团队
Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”
Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”周跃跃 OceanBase架构师
Flink Forward 核心技术“Apache Flink 1.16 功能解读”
Flink Forward 核心技术“Apache Flink 1.16 功能解读”黄兴勃 阿里云高级开发工程师
Flink Forward 行业实践 “电商SaaS全渠道实时数据中台最佳实践”
Flink Forward 行业实践 “电商SaaS全渠道实时数据中台最佳实践”应圣楚聚水潭高级ETL工程师张成玉聚水潭大数据开发专家
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”李志刚 蚂蚁集团高级技术专家
实时数仓workshop北京站“flink x Hologres 构建企业级一站式实时数仓”
实时数仓workshop北京站“flink x Hologres 构建企业级一站式实时数仓”刘一鸣阿里云高级产品专家
基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍申毅杰,StreamNative资深工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍徐帅,阿里巴巴高级技术专家宋辛童,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
阿里云实时计算Flink线下训练营
本次实战营由阿里云 Flink 专家与传智教育高级顾问联合出品,项目依托于传智教育博学谷线上教育平台数字化建设场景,真实还原实时计算业务细节,学完后掌握基于阿里云的 Flink CDC,Paimon,StarRocks 等核心技术,收获完整实时数仓与流式数据湖构建经验。 讲师/嘉宾 赵晨杰-黑马程序员技术专家张敬存-黑马程序员技术专家
Flink Forward 核心技术 “Flink state的优化与remote state的探索”
Flink Forward 核心技术 “Flink state的优化与remote state的探索”张杨bilibili 资深开发工程师
Flink Forward 核心技术 “基于Log的通用增量Checkpoint”
Flink Forward 核心技术 “基于Log的通用增量Checkpoint”俞航翔Apache Flink Contributor
Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”
Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”罗根 阿里云技术专家任庆盛 阿里云开发工程师
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”冯斐 美团数据平台计算引擎工程师
实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"
实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"朱杰Elastic资深解决方案架构师赵弘扬阿里云高级产品专家
实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"
实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"汪宇阿里巴巴淘菜菜事业部数据技术专家
Flink Forward Asia 2021 生产实践
本专场集结阿里巴巴、腾讯、快手、小米、美团的技术专家探讨超大规模Flink集群运维与大规模作业稳定性优化实践等议题。讲师/嘉宾简介1.《阿里超大规模 Flink 集群运维体系介绍》王华 - 阿里云实时计算高级运维专家2.《Flink 引擎在快手的深度优化与生产实践》刘建刚 - 快手实时计算团队技术专家3.《大规模作业的稳定性优化实践》邱从贤 - 腾讯数据平台高级开发工程师,Apache Flink Committer4.《小米基于 Flink 的稳定性优化与实践》张蛟 - 小米大数据部高级软件工程师,Apache Flink Contributor5.《美团 Flink 大作业部署与状态稳定性优化实践》冯斐 - 美团数据平台计算引擎组工程师王非凡 - 美团数据平台计算引擎工程师,Apache Flink Contributor
2024FFA分论坛-Data+Ai
FFA2024Data+AI专场由Apache Flink核心贡献者与来自哔哩哔哩、抖音集团、Elastic、京东、硕橙科技等公司的一线技术专家带来,聚焦实时大数据处理与人工智能的前沿融合,共同探讨如何利用Flink助力AI大模型技术的实时化升级,议题涵盖但不限于特征工程、训练、推理、大模型架构优化、以及实时AI大模型在各行业领域的创新应用。
Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”
Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”张彬美团数据系统研发工程师董剑辉美团数据系统研发工程师
Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”
Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”刘大龙 阿里云工程师张芒 快手大数据架构工程师
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer
Flink Forward 实时湖仓“美团买菜基于Flink的实时数据建设实践”
Flink Forward 实时湖仓“美团买菜基于Flink的实时数据建设实践”严书 美团买菜实时数仓技术负责人
阿里云数据湖技术交流会
数据湖无疑是近几年大数据领域最火热的一个方向,那到底什么是数据湖?数据湖的架构和核心技术有哪些?企业应该如何构建、管理和使用数据湖?阿里云的开源大数据团队在数据湖领域有多年的深耕和实战经验。7月17日,09:00-12:40,DataFun将联合阿里云开源大数据团队举办DataFunTalk技术交流会:阿里云数据湖技术专场,将邀请到来自阿里云数据湖存储、数据湖计算、数据湖构建和管理团队的技术专家给大家做一次从数据湖架构到核心技术到平台构建的全方位介绍与分享。讲师/嘉宾简介陈鑫伟(熙康)- 数据湖概念及架构简介熊佳树(履霜)- 数据湖统一元数据与权限杨庆苇(轻为)- 数据湖管理及优化孙大鹏(诚历)- JindoData新一代数据湖存储加速毕岩(寻径)- 基于DeltaLake构建数据湖仓体系范佚伦(子灼) - 基于Spark的云原生数据湖分析实践陈玉兆(玉兆) - 实时数据湖
Flink Forward Asia 2021 开源解决方案 2
开源大数据生态专场,来自 Pravega、Pulsar、TiDB、Zeppelin 等社区的技术专家围绕 Flink 的生态融合,探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的最佳实践。讲师/嘉宾简介1.《Mars on Flink:实时数据流上的 Pandas》付典 - 阿里巴巴高级技术专家,Apache Flink PMC2.《蚂蚁实时计算 Flink on OceanBase》陶然 - 阿里巴巴高级开发工程师,Apache Spark/Apache Flink Contributor周跃跃 - 蚂蚁集团 OceanBase 架构师3.《双剑合璧:Flink + StarRocks 构建实时数仓解决方案》谢寅 - StarRocks 解决方案架构师4.《使用 Apache Atlas 追踪 Apache Flink 的实时数据仓库血缘》刘岩 - Cloudera 解决方案工程师,Apache Hive/Apache Flink Contributor
Flink Forward Asia 2021 开源解决方案 1
开源大数据生态专场,来自 Pravega、Pulsar、TiDB、Zeppelin 等社区的技术专家围绕 Flink 的生态融合,探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的最佳实践。讲师/嘉宾简介1.《HTAP 趋势下,大数据的未来》黄东旭 - PingCAP 联合创始人兼 CTO,资深基础软件工程师,架构师2.《Pravega Flink connector Table API 进阶功能揭秘》周煜敏 - 戴尔科技集团高级软件工程师,Apache Flink Contributor3.《打造批流融合:Pulsar - Flink Connector 的设计、开发和使用》盛宇帆 - StreamNative 工程师4.《大数据三剑合一:Flink + Zeppelin + Airflow》章剑锋 - 阿里巴巴高级技术专家,Apache Member,PMC of Zeppelin、Tez、Livy
Flink Forward Asia 2021 平台建设 3
平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《Flink 在移动云实时计算的实践》谢磊 - 移动软件开发工程师2.《Apache Flink 在翼支付的实践应用》曹劼 - 翼支付高级大数据工程师尹春光 - 翼支付高级大数据工程师3.《蚂蚁金服实时计算引擎建设》闵文俊 - 阿里巴巴技术专家,Apache Flink Contributor4.《网易云音乐实时场景应用及优化实践》赵荣生 - 网易云音乐资深平台工程师,Apache Spark/Pulsar Contributor
趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍王金海,趣头条数据平台负责人更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场