回顾 | Apache Flink Meetup 杭州站圆满结束(附PPT下载)

简介: 5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

Meetup 直播回顾:


https://developer.aliyun.com/live/2772


PPT 合集下载


https://developer.aliyun.com/topic/download?id=116

《袋鼠云基于 Flink 实现的分布式数据同步工具 FlinkX 》

徐超 | Flink contributor,袋鼠云 资深技术专家

640-3.png

嘉宾介绍:

徐超,袋鼠云资深技术专家,Flink contributor,负责袋鼠云云原生一站式数据中台 PaaS-数栈从0到1的产品研发;参与的数栈产品应用于大型政企、金融、教育、新零售等行业客户,曾负责京东方、招商证券、宁波发改委、浙大、票付通等典型客户的数据中台项目的技术服务;目前专注于 Flink 实时计算周边扩展,包括袋鼠云 FlinkX、Flink Stream SQL 开源项目。

演讲简介:

一、为什么选择基于 Flink 实现

  1. 分布式,简单的并发配置
  2. 易于扩展
  3. 高效性
    二、整体结构(包括架构图)

三、如何实现控制并发和限流(原理和实现)
四、增量同步,断点续传(原理和实现)
五、实时采集(原理和实现)
六、当前版本插件的支持情况和未来的开发计划

《网易云音乐实时数仓实践》

汪磊 | 网易 数据平台开发专家

640.jpeg

嘉宾介绍:

汪磊,网易数据平台开发专家,目前负责云音乐实时、离线、以及机器学习平台的建设工作。

演讲简介:

云音乐随着业务的发展,对实时计算业务的需求越来愈多,要求越来越高,平台遇到挑战也越来越大。为了降低实时计算开发的门槛,更好的管控实时任务,提升系统的稳定性,我们整合了我们已有的底层服务开发了适合云音乐的实时数仓方案。

本次分享主要介绍我们整体的实践方案,面临的一些问题,以及未来的一些规划,整体大纲如下:

  1. 云音乐整体数据平台架构介绍
  2. 云音乐 Flink 实时数仓和元数据中心整合
  3. 目前面临的问题和挑战
  4. 批流一体的实践和规划

《Apache Flink SQL 1.10 在有赞的实践应用》

沈磊 | 有赞数据研发工程师

640-2.jpeg

嘉宾介绍:

沈磊,英文名 LakeShen,目前在有赞负责实时计算平台、以及 Flink 计算引擎相关研发和维护工作。积极参与 Flink 开源社区,喜欢和大家分享 Flink 技术,个人也写了很多 Flink 相关技术文章,帮助大家一起学习 Flink。

演讲简介:

本次演讲主要讲解 1.10 版本 Flink SQL 在有赞的实践应用,以及为什么选择 Flink SQL 。主要内容包括:

  1. 实时平台 Flink SQL 开发实践
  2. Flink Connector 的实践和优化
  3. Flink SQL 在有赞的业务支撑

《Apache Flink 在 AI 流程中的应用》

涂轶文(应言)| 阿里巴巴开发工程师

640-3.jpeg

嘉宾介绍:

涂轶文,花名应言,2019年7月加入阿里巴巴,担任开发工程师,专注于 Flink AI 生态领域的开发yiwen.png。

演讲简介:

在如今的 AI 场景中,Flink 在流模式下得天独厚的优势给 AI 的发展带来了更多的可能,为了能够更好地支持 AI 在不同场景下的发展,Flink 社区和 Flink 的生态项目也在不断地努力着,本文将介绍 Flink 在 AI 场景中的应用,主要内容包括:

  1. Background on Flink embracing AI
  2. What is AI flow
  3. Meet Flink AI flow
  4. An ML scenario

现场合照

合照.JPG

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
存储 JavaScript 前端开发
盘点主流 Flutter 状态管理库2024
状态管理是每个应用不可缺少的,本文将会盘点下主流的状态管理包。
940 2
盘点主流 Flutter 状态管理库2024
|
网络架构 Python
【flask入门系列】处理请求之url 路径参数的获取以及转换器的使用
这节我们写一下url路径参数的获取以及转换器的使用,学一下如何在我们的的url路径中加参数以及如何使用转换器,并且自定义转换器。
1315 0
【flask入门系列】处理请求之url 路径参数的获取以及转换器的使用
|
网络安全 开发工具 git
|
6月前
|
安全 应用服务中间件 网络安全
HTTPS改成HTTPS速成方法
最快将HTTP升级为HTTPS:先安装SSL证书(如Gworg),再通过服务器配置(Apache/Nginx/IIS)或WordPress插件设置301重定向;迁移后需修复混合内容、提交Google搜索控制台并启用HSTS,确保安全与SEO无损。
1420 3
|
消息中间件 数据采集 监控
高级应用:利用DataHub构建实时数据流处理系统
【10月更文挑战第23天】在大数据时代,实时数据处理的需求日益增长。无论是金融交易、物联网设备监控,还是社交媒体分析,实时数据流处理系统都扮演着至关重要的角色。作为阿里云提供的实时数据同步服务,DataHub为开发者提供了一种高效、可靠的方式来构建实时数据流处理系统。本文将从个人的角度出发,探讨如何利用DataHub构建实时数据流处理系统,包括配置实时数据采集、与流处理引擎集成、实施数据流的实时分析和处理,以及确保系统的高可用性和扩展性。
961 5
Axure设计之单选框教程(中继器)
在Axure RP中,通过结合中继器的强大功能,我们可以轻松实现动态加载的单选框列表,不仅可以根据数据自动调整选项宽度,还能实时更新选中状态。本教程将引导你完成一个使用中继器制作动态单选框列表的项目,包括案例分析、设计思路及详细的实现步骤。
771 1
Axure设计之单选框教程(中继器)
|
人工智能 物联网 Linux
从端到云-全面讲解物联网全栈开发之道
万物互联的时代即将到来,互联网作为当今最为火热的方向之一,无数开发者沉迷其中,那么从事物联网开发需要哪些知识储备呢?在本次分享中,来自创客学院的刘正道老师从物联网就业与岗位分析、物联网与嵌入式、物联网行业解决方案、物联网课程体系四部分全面讲解物联网全栈开发之道,带你走向物联网开发世界。
7697 0
|
存储 运维 Kubernetes
蚂蚁集团万级规模 K8s 集群 etcd 高可用建设之路
蚂蚁集团运维着可能是全球最大的 K8s 集群:K8s 官方以 5k node 作为 K8s 规模化的顶峰,而蚂蚁集团事实上运维着规模达到 10k node 规模的 K8s 集群。一个形象的比喻就是,如果官方以及跟着官方的 K8s 使用者能想象到的 K8s 的集群规模是泰山,那么蚂蚁集团在官方的解决方案之上已经实现了一个珠穆朗玛峰,引领了 K8s 规模化技术的提升。
蚂蚁集团万级规模 K8s 集群 etcd 高可用建设之路
|
监控 算法 搜索推荐
数据指标波动分析
闲鱼常用波动分析方法论总结
3123 0
数据指标波动分析

相关产品

  • 实时计算 Flink版