回顾 | Apache Flink Meetup 杭州站圆满结束(附PPT下载)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

Meetup 直播回顾:


https://developer.aliyun.com/live/2772


PPT 合集下载


https://developer.aliyun.com/topic/download?id=116

《袋鼠云基于 Flink 实现的分布式数据同步工具 FlinkX 》

徐超 | Flink contributor,袋鼠云 资深技术专家

640-3.png

嘉宾介绍:

徐超,袋鼠云资深技术专家,Flink contributor,负责袋鼠云云原生一站式数据中台 PaaS-数栈从0到1的产品研发;参与的数栈产品应用于大型政企、金融、教育、新零售等行业客户,曾负责京东方、招商证券、宁波发改委、浙大、票付通等典型客户的数据中台项目的技术服务;目前专注于 Flink 实时计算周边扩展,包括袋鼠云 FlinkX、Flink Stream SQL 开源项目。

演讲简介:

一、为什么选择基于 Flink 实现

  1. 分布式,简单的并发配置
  2. 易于扩展
  3. 高效性
    二、整体结构(包括架构图)

三、如何实现控制并发和限流(原理和实现)
四、增量同步,断点续传(原理和实现)
五、实时采集(原理和实现)
六、当前版本插件的支持情况和未来的开发计划

《网易云音乐实时数仓实践》

汪磊 | 网易 数据平台开发专家

640.jpeg

嘉宾介绍:

汪磊,网易数据平台开发专家,目前负责云音乐实时、离线、以及机器学习平台的建设工作。

演讲简介:

云音乐随着业务的发展,对实时计算业务的需求越来愈多,要求越来越高,平台遇到挑战也越来越大。为了降低实时计算开发的门槛,更好的管控实时任务,提升系统的稳定性,我们整合了我们已有的底层服务开发了适合云音乐的实时数仓方案。

本次分享主要介绍我们整体的实践方案,面临的一些问题,以及未来的一些规划,整体大纲如下:

  1. 云音乐整体数据平台架构介绍
  2. 云音乐 Flink 实时数仓和元数据中心整合
  3. 目前面临的问题和挑战
  4. 批流一体的实践和规划

《Apache Flink SQL 1.10 在有赞的实践应用》

沈磊 | 有赞数据研发工程师

640-2.jpeg

嘉宾介绍:

沈磊,英文名 LakeShen,目前在有赞负责实时计算平台、以及 Flink 计算引擎相关研发和维护工作。积极参与 Flink 开源社区,喜欢和大家分享 Flink 技术,个人也写了很多 Flink 相关技术文章,帮助大家一起学习 Flink。

演讲简介:

本次演讲主要讲解 1.10 版本 Flink SQL 在有赞的实践应用,以及为什么选择 Flink SQL 。主要内容包括:

  1. 实时平台 Flink SQL 开发实践
  2. Flink Connector 的实践和优化
  3. Flink SQL 在有赞的业务支撑

《Apache Flink 在 AI 流程中的应用》

涂轶文(应言)| 阿里巴巴开发工程师

640-3.jpeg

嘉宾介绍:

涂轶文,花名应言,2019年7月加入阿里巴巴,担任开发工程师,专注于 Flink AI 生态领域的开发yiwen.png。

演讲简介:

在如今的 AI 场景中,Flink 在流模式下得天独厚的优势给 AI 的发展带来了更多的可能,为了能够更好地支持 AI 在不同场景下的发展,Flink 社区和 Flink 的生态项目也在不断地努力着,本文将介绍 Flink 在 AI 场景中的应用,主要内容包括:

  1. Background on Flink embracing AI
  2. What is AI flow
  3. Meet Flink AI flow
  4. An ML scenario

现场合照

合照.JPG

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
3天前
|
消息中间件 分布式计算 Kafka
深度分析:Apache Flink及其在大数据处理中的应用
Apache Flink是低延迟、高吞吐量的流处理框架,以其状态管理和事件时间处理能力脱颖而出。与Apache Spark Streaming相比,Flink在实时性上更强,但Spark生态系统更丰富。Apache Storm在低延迟上有优势,而Kafka Streams适合轻量级流处理。选型考虑延迟、状态管理、生态系统和运维成本。Flink适用于实时数据分析、复杂事件处理等场景,使用时注意资源配置、状态管理和窗口操作的优化。
|
11天前
|
消息中间件 Oracle 关系型数据库
实时计算 Flink版操作报错合集之连接RabbitMQ时遇到Could not find any factory for identifier 'rabbitmq' that implements 'org.apache.flink.table.factories.DynamicTableFactory'错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
308 0
|
11天前
|
Kubernetes Oracle 关系型数据库
实时计算 Flink版操作报错合集之用dinky在k8s上提交作业,会报错:Caused by: org.apache.flink.table.api.ValidationException:,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
102 0
|
11天前
|
关系型数据库 MySQL 数据库
实时计算 Flink版操作报错合集之下载了mysql的cdc的demo,在本地调试时,报错:找不到这个包,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
106 0
|
11天前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错合集之从hudi读数据,报错NoSuchMethodError:org.apache.hudi.format.cow.vector.reader.PaequetColumnarRowSplit.getRecord(),该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
15天前
|
监控 大数据 Java
使用Apache Flink进行大数据实时流处理
Apache Flink是开源流处理框架,擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构(包括客户端、作业管理器、任务管理器和数据源/接收器)和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用,讨论其实战挑战与优化。Flink作为大数据处理的关键组件,将持续影响实时处理领域。
116 5
|
1月前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错之Apache Flink中的SplitFetcher线程在读取数据时遇到了未预期的情况,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
29天前
|
数据处理 Apache 流计算
|
1月前
|
消息中间件 关系型数据库 MySQL
Apache Flink CDC 3.1.0 发布公告
Apache Flink 社区很高兴地宣布发布 Flink CDC 3.1.0!
584 1
Apache Flink CDC 3.1.0 发布公告
|
16天前
|
数据采集 关系型数据库 MySQL
使用Apache Flink实现MySQL数据读取和写入的完整指南
使用Apache Flink实现MySQL数据读取和写入的完整指南
116 0
使用Apache Flink实现MySQL数据读取和写入的完整指南

热门文章

最新文章

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多