直播 | Delta Lake 如何帮助云用户解决数据实时入库问题

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 6月14日,大数据+AI Meetup 在线直播!Apache Flink Committer,阿里巴巴技术专家辛庸将现场分享《Delta Lake 如何帮助云用户解决数据实时入库问题》,还有快手春晚项目的独家实践、网易云音乐 Flink + Kafka 的生产落地等。

6月14日,计算平台事业部与阿里云开发者社区联合举办的首期大数据+AI Meetup即将重磅开启,来自阿里、Databricks、快手、网易云音乐的国内外多位技术专家齐聚一堂,与你探讨大数据及 AI 领域的热门话题!

KV 2350*1000.png

Meetup 精华看点

  1. Flink 1.11、Spark 3.0、Alink 1.1.1 等大数据热门开源软件核心开发者帮你圈出最新版本重点
  2. 实时数仓、数据湖、HSAP 架构能干啥一次讲清楚
  3. 更有一线生产环境实战,春晚快手项目、网易云音乐 Flink + Kafka 落地实践的独家宝贵经验分享
  4. 全场超豪华嘉宾阵容,直播间已准备多种精美礼品,现场送送送

如何观看

Tips:了解更多 Meetup 信息可钉钉扫描下方二维码进群咨询。

6.14 交流群.jpg

(大数据 + AI Meetup 交流群)

▼ 一个福利 ▼

转发本文至朋友圈即可参与抽奖,10本 Flink 纸质版学习资料等你拿!微信扫码,联系小松鼠参与抽奖:

小松鼠.jpeg

▼ Meetup 完整议程 ▼

议程图 1000*.png

本次 Meetup 下午半场议程简介如下。

01《Flink + KafKa在网易云音乐的应用实战》

岳猛 | 网易云音乐 实时计算平台研发工程师

30.jpg

演讲简介:

本次分享主要介绍基于flink+kafka在云音乐的应用实践,包括kafka流表元数据管理以及使用,使用flink+ kafka构建实时数据分发功能以及基于flink + kafka实时特征构建场景下的一些策略和思考。

02《Delta Lake 如何帮助云用户解决数据实时入库问题》

辛庸 | 阿里巴巴 技术专家

31.png

演讲简介:

Delta Lake 自发布以来得到了业界广泛的关注,其提供的 ACID 支持、历史版本回溯、UPDATE/DELETE/MERGE INTO 语法支持等功能完美契合了用户对数据湖内容管理的需求;其 Multi-Hop 架构的流批一体设计极大简化了用户运维数据管道的成本,使得传统的 ETL 流程进化为更灵活的 ELT+ 流程。
在本次演讲中,我们将分享 EMR 是如何利用 Delta Lake 帮助用户解决数据实时入库的问题,以及在这个过程中我们对 Delta Lake 做了哪些有益的提升和探索。

《春晚活动下快手实时链路保障实践》

刘建刚 | 快手 开发工程师

32.png

演讲简介:

本次分享主要介绍,2020春晚活动下,快手内部为保障公司实时链路业务需求所做的保障工作。包括:实时任务的分级保障方案,整体链路稳定性保障,以及典型业务场景及压测保障方案等。最终在一系列保障下,实时链路顺利抗住春晚压力,保障活动顺利完成。

04《Flink 1.11 Table & SQL 深度解读》

李劲松(之信) | 阿里巴巴 技术专家

7之信.png

演讲简介:

Flink SQL 1.11 又是一个较大提升的版本,完成了多项 features 来提升SQL的易用性和功能,不但加强了流处理领域的易用性和灵活性,还大力发展了Flink在流批统一架构中发挥的作用,主要内容是:

  1. DDL易用性提升
  2. Change table重构
  3. Hive Streaming Source&Sink&Join
  4. Hive DDL Dialect
  5. Filesystem connector

以上为本次 Meetup 下午场议题的详细介绍,6月14日 10:00,大数据+AI Meetup 直播间期待您的到来,还有更多精美礼品,参与互动即可领取!点击下方链接即可预约 Meetup 直播~

Meet up 直播>>
https://developer.aliyun.com/live/2894?spm=a2c6h.12873587.0.0.127052c20epnNs


阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区近万人Spark技术同学在线提问答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!
image.png

对开源大数据和感兴趣的同学可以加小编微信(下图二维码,备注“进群”)进入技术交流微信群。

image.png

Apache Spark技术交流社区公众号,微信扫一扫关注

image.png

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
SQL 存储 OLAP
阿里CCO基于Hologres的亿级明细BI探索分析实践
阿里CCO基于Hologres的亿级明细BI探索分析实践。
1245 0
阿里CCO基于Hologres的亿级明细BI探索分析实践
|
SQL 分布式计算 数据可视化
加速查询MaxCompute再对接FBI(帆软)的完整链路来啦!
本文旨在分享使用交互式分析查询MaxCompute数据,再对接FBI的完整链路,快速搭建大数据生态完整链路。
4215 0
|
27天前
|
Java 数据库
实时数仓 Hologres产品使用合集之升级校验是否会影响holo的使用
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
4月前
|
关系型数据库 MySQL Java
实时数仓 Hologres产品使用合集之查询数据的入库时间该怎么操作
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
12月前
|
数据采集 数据可视化 前端开发
数据仓库用户行为采集记录
数据仓库用户行为采集记录
95 0
|
消息中间件 SQL JavaScript
Flink 实例:电商用户行为实时分析
Flink 实例:电商用户行为实时分析
402 1
Flink 实例:电商用户行为实时分析
实时计算Flink版 + Hologres,亿级用户实时 UV 精确去重最佳实践
使用实时计算Flink版 + Hologres 方式,并基于 RoaringBitmap,实时对用户标签去重。
实时计算Flink版 + Hologres,亿级用户实时 UV 精确去重最佳实践
|
SQL 存储 分布式计算
Hologres如何支持亿级用户UV计算
本文将介绍阿里云Hologres如何基于RoaringBitmap进行UV等高复杂度计算的方案,实现亿级用户万级标签亚秒级分析,帮助用户从Kylin平滑迁移到Hologres,实现更实时、开发更灵活、功能更完善的多维分析能力。
1047 0
Hologres如何支持亿级用户UV计算
|
消息中间件 SQL 监控
Flink+Hologres亿级用户实时UV精确去重最佳实践
Flink+Hologres亿级用户实时UV精确去重最佳实践
1995 0
Flink+Hologres亿级用户实时UV精确去重最佳实践
|
SQL 分布式计算 数据可视化
Hologres助力飞猪双11实时数据大屏秒级响应
本文重点介绍Hologres如何落地阿里巴巴飞猪实时数仓场景,并助力飞猪双11实时数据大屏3秒起跳,全程0故障。
28937 0
Hologres助力飞猪双11实时数据大屏秒级响应