直播 | 即将发版的 Flink 1.11 有哪些重大变更?

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 6月14日,大数据+AI Meetup 在线直播!Apache Flink Committer,阿里巴巴技术专家李劲松(之信)将现场分享《Flink 1.11 Table&SQL 深度解读》,还有快手春晚项目的独家实践、网易云音乐 Flink + Kafka 的生产落地等。

6月14日,计算平台事业部与阿里云开发者社区联合举办的首期大数据+AI Meetup即将重磅开启,来自阿里、Databricks、快手、网易云音乐的国内外多位技术专家齐聚一堂,与你探讨大数据及 AI 领域的热门话题!

KV 2350*1000.png

Meetup 精华看点

  1. Flink 1.11、Spark 3.0、Alink 1.1.1 等大数据热门开源软件核心开发者帮你圈出最新版本重点
  2. 实时数仓、数据湖、HSAP 架构能干啥一次讲清楚
  3. 更有一线生产环境实战,春晚快手项目、网易云音乐 Flink + Kafka 落地实践的独家宝贵经验分享
  4. 全场超豪华嘉宾阵容,直播间已准备多种精美礼品,现场送送送

如何观看

Tips:了解更多 Meetup 信息可钉钉扫描下方二维码进群咨询。

6.14 交流群.jpg

(大数据 + AI Meetup 交流群)

▼ 一个福利 ▼

转发本文至朋友圈即可参与抽奖,10本 Flink 纸质版学习资料等你拿!微信扫码,联系小松鼠参与抽奖:

小松鼠.jpeg

▼ Meetup 完整议程 ▼

议程图 1000*.png

本次 Meetup 下午半场议程简介如下。

01《Flink + KafKa在网易云音乐的应用实战》

岳猛 | 网易云音乐 实时计算平台研发工程师

30.jpg

演讲简介:

本次分享主要介绍基于flink+kafka在云音乐的应用实践,包括kafka流表元数据管理以及使用,使用flink+ kafka构建实时数据分发功能以及基于flink + kafka实时特征构建场景下的一些策略和思考。

02《Delta Lake 如何帮助云用户解决数据实时入库问题》

辛庸 | 阿里巴巴 技术专家

31.png

演讲简介:

Delta Lake 自发布以来得到了业界广泛的关注,其提供的 ACID 支持、历史版本回溯、UPDATE/DELETE/MERGE INTO 语法支持等功能完美契合了用户对数据湖内容管理的需求;其 Multi-Hop 架构的流批一体设计极大简化了用户运维数据管道的成本,使得传统的 ETL 流程进化为更灵活的 ELT+ 流程。
在本次演讲中,我们将分享 EMR 是如何利用 Delta Lake 帮助用户解决数据实时入库的问题,以及在这个过程中我们对 Delta Lake 做了哪些有益的提升和探索。

《春晚活动下快手实时链路保障实践》

刘建刚 | 快手 开发工程师

32.png

演讲简介:

本次分享主要介绍,2020春晚活动下,快手内部为保障公司实时链路业务需求所做的保障工作。包括:实时任务的分级保障方案,整体链路稳定性保障,以及典型业务场景及压测保障方案等。最终在一系列保障下,实时链路顺利抗住春晚压力,保障活动顺利完成。

04《Flink 1.11 Table & SQL 深度解读》

李劲松(之信) | 阿里巴巴 技术专家

7之信.png

演讲简介:

Flink SQL 1.11 又是一个较大提升的版本,完成了多项 features 来提升SQL的易用性和功能,不但加强了流处理领域的易用性和灵活性,还大力发展了Flink在流批统一架构中发挥的作用,主要内容是:

  1. DDL易用性提升
  2. Change table重构
  3. Hive Streaming Source&Sink&Join
  4. Hive DDL Dialect
  5. Filesystem connector

以上为本次 Meetup 下午场议题的详细介绍,6月14日 10:00,大数据+AI Meetup 直播间期待您的到来,还有更多精美礼品,参与互动即可领取!点击下方链接即可预约 Meetup 直播~

Meet up 直播>>
https://developer.aliyun.com/live/2894?spm=a2c6h.12873587.0.0.127052c20epnNs

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
8月前
|
监控 Oracle 关系型数据库
Flink CDC(Change Data Capture)是一种用于捕获数据库变更的技术
Flink CDC(Change Data Capture)是一种用于捕获数据库变更的技术
96 8
|
2月前
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
104 9
|
8月前
|
SQL 消息中间件 Oracle
实时计算 Flink版产品使用合集之支持同步 DDL 变更吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之写doris,mysql字段变更,重新提交才能同步新字段数据吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
资源调度 关系型数据库 MySQL
【Flink on YARN + CDC 3.0】神操作!看完这篇教程,你也能成为数据流处理高手!从零开始,一步步教会你在Flink on YARN模式下如何配置Debezium CDC 3.0,让你的数据库变更数据瞬间飞起来!
【8月更文挑战第15天】随着Apache Flink的普及,企业广泛采用Flink on YARN部署流处理应用,高效利用集群资源。变更数据捕获(CDC)工具在现代数据栈中至关重要,能实时捕捉数据库变化并转发给下游系统处理。本文以Flink on YARN为例,介绍如何在Debezium CDC 3.0中配置MySQL连接器,实现数据流处理。首先确保YARN上已部署Flink集群,接着安装Debezium MySQL连接器并配置Kafka Connect。最后,创建Flink任务消费变更事件并提交任务到Flink集群。通过这些步骤,可以构建出从数据库变更到实时处理的无缝数据管道。
402 2
|
5月前
|
消息中间件 Kafka 数据处理
实时计算 Flink版产品使用问题之如何处理数据并记录每条数据的变更
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
SQL 数据处理 API
实时计算 Flink版产品使用问题之不支持的表结构变更有哪些
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之要将MySQL同步到Doris,并设置整库同步,只变更库名、表名和表结构都不变,该如何设置
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版产品使用问题之在从SQLServer捕获数据变更(CDC)时,开启CDC功能后对应的表中没有记录变化数据,是什么原因
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

相关产品

  • 实时计算 Flink版