5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。
Meetup 直播回顾:
https://developer.aliyun.com/live/2772
PPT 合集下载
https://developer.aliyun.com/topic/download?id=116
《袋鼠云基于 Flink 实现的分布式数据同步工具 FlinkX 》
徐超 | Flink contributor,袋鼠云 资深技术专家
嘉宾介绍:
徐超,袋鼠云资深技术专家,Flink contributor,负责袋鼠云云原生一站式数据中台 PaaS-数栈从0到1的产品研发;参与的数栈产品应用于大型政企、金融、教育、新零售等行业客户,曾负责京东方、招商证券、宁波发改委、浙大、票付通等典型客户的数据中台项目的技术服务;目前专注于 Flink 实时计算周边扩展,包括袋鼠云 FlinkX、Flink Stream SQL 开源项目。
演讲简介:
一、为什么选择基于 Flink 实现
- 分布式,简单的并发配置
- 易于扩展
- 高效性
二、整体结构(包括架构图)
三、如何实现控制并发和限流(原理和实现)
四、增量同步,断点续传(原理和实现)
五、实时采集(原理和实现)
六、当前版本插件的支持情况和未来的开发计划
《网易云音乐实时数仓实践》
汪磊 | 网易 数据平台开发专家
嘉宾介绍:
汪磊,网易数据平台开发专家,目前负责云音乐实时、离线、以及机器学习平台的建设工作。
演讲简介:
云音乐随着业务的发展,对实时计算业务的需求越来愈多,要求越来越高,平台遇到挑战也越来越大。为了降低实时计算开发的门槛,更好的管控实时任务,提升系统的稳定性,我们整合了我们已有的底层服务开发了适合云音乐的实时数仓方案。
本次分享主要介绍我们整体的实践方案,面临的一些问题,以及未来的一些规划,整体大纲如下:
- 云音乐整体数据平台架构介绍
- 云音乐 Flink 实时数仓和元数据中心整合
- 目前面临的问题和挑战
- 批流一体的实践和规划
《Apache Flink SQL 1.10 在有赞的实践应用》
沈磊 | 有赞数据研发工程师
嘉宾介绍:
沈磊,英文名 LakeShen,目前在有赞负责实时计算平台、以及 Flink 计算引擎相关研发和维护工作。积极参与 Flink 开源社区,喜欢和大家分享 Flink 技术,个人也写了很多 Flink 相关技术文章,帮助大家一起学习 Flink。
演讲简介:
本次演讲主要讲解 1.10 版本 Flink SQL 在有赞的实践应用,以及为什么选择 Flink SQL 。主要内容包括:
- 实时平台 Flink SQL 开发实践
- Flink Connector 的实践和优化
- Flink SQL 在有赞的业务支撑
《Apache Flink 在 AI 流程中的应用》
涂轶文(应言)| 阿里巴巴开发工程师
嘉宾介绍:
涂轶文,花名应言,2019年7月加入阿里巴巴,担任开发工程师,专注于 Flink AI 生态领域的开发yiwen.png。
演讲简介:
在如今的 AI 场景中,Flink 在流模式下得天独厚的优势给 AI 的发展带来了更多的可能,为了能够更好地支持 AI 在不同场景下的发展,Flink 社区和 Flink 的生态项目也在不断地努力着,本文将介绍 Flink 在 AI 场景中的应用,主要内容包括:
- Background on Flink embracing AI
- What is AI flow
- Meet Flink AI flow
- An ML scenario
现场合照