直播 | Delta Lake 如何帮助云用户解决数据实时入库问题

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 6月14日,大数据+AI Meetup 在线直播!Apache Flink Committer,阿里巴巴技术专家辛庸将现场分享《Delta Lake 如何帮助云用户解决数据实时入库问题》,还有快手春晚项目的独家实践、网易云音乐 Flink + Kafka 的生产落地等。

6月14日,计算平台事业部与阿里云开发者社区联合举办的首期大数据+AI Meetup即将重磅开启,来自阿里、Databricks、快手、网易云音乐的国内外多位技术专家齐聚一堂,与你探讨大数据及 AI 领域的热门话题!

KV 2350*1000.png

Meetup 精华看点

  1. Flink 1.11、Spark 3.0、Alink 1.1.1 等大数据热门开源软件核心开发者帮你圈出最新版本重点
  2. 实时数仓、数据湖、HSAP 架构能干啥一次讲清楚
  3. 更有一线生产环境实战,春晚快手项目、网易云音乐 Flink + Kafka 落地实践的独家宝贵经验分享
  4. 全场超豪华嘉宾阵容,直播间已准备多种精美礼品,现场送送送

如何观看

Tips:了解更多 Meetup 信息可钉钉扫描下方二维码进群咨询。

6.14 交流群.jpg

(大数据 + AI Meetup 交流群)

▼ 一个福利 ▼

转发本文至朋友圈即可参与抽奖,10本 Flink 纸质版学习资料等你拿!微信扫码,联系小松鼠参与抽奖:

小松鼠.jpeg

▼ Meetup 完整议程 ▼

议程图 1000*.png

本次 Meetup 下午半场议程简介如下。

01《Flink + KafKa在网易云音乐的应用实战》

岳猛 | 网易云音乐 实时计算平台研发工程师

30.jpg

演讲简介:

本次分享主要介绍基于flink+kafka在云音乐的应用实践,包括kafka流表元数据管理以及使用,使用flink+ kafka构建实时数据分发功能以及基于flink + kafka实时特征构建场景下的一些策略和思考。

02《Delta Lake 如何帮助云用户解决数据实时入库问题》

辛庸 | 阿里巴巴 技术专家

31.png

演讲简介:

Delta Lake 自发布以来得到了业界广泛的关注,其提供的 ACID 支持、历史版本回溯、UPDATE/DELETE/MERGE INTO 语法支持等功能完美契合了用户对数据湖内容管理的需求;其 Multi-Hop 架构的流批一体设计极大简化了用户运维数据管道的成本,使得传统的 ETL 流程进化为更灵活的 ELT+ 流程。
在本次演讲中,我们将分享 EMR 是如何利用 Delta Lake 帮助用户解决数据实时入库的问题,以及在这个过程中我们对 Delta Lake 做了哪些有益的提升和探索。

《春晚活动下快手实时链路保障实践》

刘建刚 | 快手 开发工程师

32.png

演讲简介:

本次分享主要介绍,2020春晚活动下,快手内部为保障公司实时链路业务需求所做的保障工作。包括:实时任务的分级保障方案,整体链路稳定性保障,以及典型业务场景及压测保障方案等。最终在一系列保障下,实时链路顺利抗住春晚压力,保障活动顺利完成。

04《Flink 1.11 Table & SQL 深度解读》

李劲松(之信) | 阿里巴巴 技术专家

7之信.png

演讲简介:

Flink SQL 1.11 又是一个较大提升的版本,完成了多项 features 来提升SQL的易用性和功能,不但加强了流处理领域的易用性和灵活性,还大力发展了Flink在流批统一架构中发挥的作用,主要内容是:

  1. DDL易用性提升
  2. Change table重构
  3. Hive Streaming Source&Sink&Join
  4. Hive DDL Dialect
  5. Filesystem connector

以上为本次 Meetup 下午场议题的详细介绍,6月14日 10:00,大数据+AI Meetup 直播间期待您的到来,还有更多精美礼品,参与互动即可领取!点击下方链接即可预约 Meetup 直播~

Meet up 直播>>
https://developer.aliyun.com/live/2894?spm=a2c6h.12873587.0.0.127052c20epnNs


阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区近万人Spark技术同学在线提问答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!
image.png

对开源大数据和感兴趣的同学可以加小编微信(下图二维码,备注“进群”)进入技术交流微信群。

image.png

Apache Spark技术交流社区公众号,微信扫一扫关注

image.png

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
2月前
|
监控 Java 数据库连接
实时数仓 Hologres产品使用合集之查询结果条数不同是什么原因
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
2月前
|
存储 数据处理 数据库
实时数仓 Hologres产品使用合集之添加用户失败是什么导致的
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
2月前
|
分布式计算 Java 数据库连接
实时数仓 Hologres产品使用合集之如何修改Shard Count数量
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 分布式计算 容灾
|
5月前
|
关系型数据库 MySQL Java
实时数仓 Hologres产品使用合集之查询数据的入库时间该怎么操作
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
106 3
|
5月前
|
SQL 数据采集 分布式计算
实时计算 Flink版产品使用合集之在处理金额字段时,怎么才可以避免失真
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
37 3
|
存储 JSON 自然语言处理
【ODPS新品发布第2期】实时数仓Hologres:推出计算组实例/支持JSON数据/向量计算+大模型等新能力
本期将重点介绍Hologres推出计算组实例,Hologres支持JSON数据 ,Hologres向量计算+大模型能力,Hologres数据同步新能力,Hologres数据分层存储
|
存储 分布式计算 大数据
Hologres X TapTap,毫秒级实时在线推荐
本文将会介绍TapTap基于Hologres在实时推荐场景的最佳实践。
1737 0
Hologres X TapTap,毫秒级实时在线推荐
|
SQL 存储 大数据
10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新
10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新
4984 2
10亿+/秒!看阿里如何搞定实时数仓高吞吐实时写入与更新
实时计算Flink版 + Hologres,亿级用户实时 UV 精确去重最佳实践
使用实时计算Flink版 + Hologres 方式,并基于 RoaringBitmap,实时对用户标签去重。
实时计算Flink版 + Hologres,亿级用户实时 UV 精确去重最佳实践
下一篇
无影云桌面