直播 | Delta Lake 如何帮助云用户解决数据实时入库问题

简介: 6月14日,大数据+AI Meetup 在线直播!Apache Flink Committer,阿里巴巴技术专家辛庸将现场分享《Delta Lake 如何帮助云用户解决数据实时入库问题》,还有快手春晚项目的独家实践、网易云音乐 Flink + Kafka 的生产落地等。

6月14日,计算平台事业部与阿里云开发者社区联合举办的首期大数据+AI Meetup即将重磅开启,来自阿里、Databricks、快手、网易云音乐的国内外多位技术专家齐聚一堂,与你探讨大数据及 AI 领域的热门话题!

KV 2350*1000.png

Meetup 精华看点

  1. Flink 1.11、Spark 3.0、Alink 1.1.1 等大数据热门开源软件核心开发者帮你圈出最新版本重点
  2. 实时数仓、数据湖、HSAP 架构能干啥一次讲清楚
  3. 更有一线生产环境实战,春晚快手项目、网易云音乐 Flink + Kafka 落地实践的独家宝贵经验分享
  4. 全场超豪华嘉宾阵容,直播间已准备多种精美礼品,现场送送送

如何观看

Tips:了解更多 Meetup 信息可钉钉扫描下方二维码进群咨询。

6.14 交流群.jpg

(大数据 + AI Meetup 交流群)

▼ 一个福利 ▼

转发本文至朋友圈即可参与抽奖,10本 Flink 纸质版学习资料等你拿!微信扫码,联系小松鼠参与抽奖:

小松鼠.jpeg

▼ Meetup 完整议程 ▼

议程图 1000*.png

本次 Meetup 下午半场议程简介如下。

01《Flink + KafKa在网易云音乐的应用实战》

岳猛 | 网易云音乐 实时计算平台研发工程师

30.jpg

演讲简介:

本次分享主要介绍基于flink+kafka在云音乐的应用实践,包括kafka流表元数据管理以及使用,使用flink+ kafka构建实时数据分发功能以及基于flink + kafka实时特征构建场景下的一些策略和思考。

02《Delta Lake 如何帮助云用户解决数据实时入库问题》

辛庸 | 阿里巴巴 技术专家

31.png

演讲简介:

Delta Lake 自发布以来得到了业界广泛的关注,其提供的 ACID 支持、历史版本回溯、UPDATE/DELETE/MERGE INTO 语法支持等功能完美契合了用户对数据湖内容管理的需求;其 Multi-Hop 架构的流批一体设计极大简化了用户运维数据管道的成本,使得传统的 ETL 流程进化为更灵活的 ELT+ 流程。
在本次演讲中,我们将分享 EMR 是如何利用 Delta Lake 帮助用户解决数据实时入库的问题,以及在这个过程中我们对 Delta Lake 做了哪些有益的提升和探索。

《春晚活动下快手实时链路保障实践》

刘建刚 | 快手 开发工程师

32.png

演讲简介:

本次分享主要介绍,2020春晚活动下,快手内部为保障公司实时链路业务需求所做的保障工作。包括:实时任务的分级保障方案,整体链路稳定性保障,以及典型业务场景及压测保障方案等。最终在一系列保障下,实时链路顺利抗住春晚压力,保障活动顺利完成。

04《Flink 1.11 Table & SQL 深度解读》

李劲松(之信) | 阿里巴巴 技术专家

7之信.png

演讲简介:

Flink SQL 1.11 又是一个较大提升的版本,完成了多项 features 来提升SQL的易用性和功能,不但加强了流处理领域的易用性和灵活性,还大力发展了Flink在流批统一架构中发挥的作用,主要内容是:

  1. DDL易用性提升
  2. Change table重构
  3. Hive Streaming Source&Sink&Join
  4. Hive DDL Dialect
  5. Filesystem connector

以上为本次 Meetup 下午场议题的详细介绍,6月14日 10:00,大数据+AI Meetup 直播间期待您的到来,还有更多精美礼品,参与互动即可领取!点击下方链接即可预约 Meetup 直播~

Meet up 直播>>
https://developer.aliyun.com/live/2894?spm=a2c6h.12873587.0.0.127052c20epnNs


阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区近万人Spark技术同学在线提问答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!
image.png

对开源大数据和感兴趣的同学可以加小编微信(下图二维码,备注“进群”)进入技术交流微信群。

image.png

Apache Spark技术交流社区公众号,微信扫一扫关注

image.png

相关文章
|
前端开发 JavaScript
自己封装的一些javascript工具函数
自己封装的一些javascript工具函数
|
9天前
|
缓存 测试技术 API
Qwen 3.7 Plus 与 Max 实测:性价比与多模态能力差异解析(2026)
2026 年 6 月 1 日,阿里悄无声息地发布了 Qwen 3.7 Plus,距 Qwen 3.7 Max 上线刚好 11 天。同样的 1M 上下文,同样的 35 小时自治上限。但价格才是头条:Plus 是 0.40/M输入,Max是 2.50/M——便宜约 6 倍——并且还能看图、看视频。Vision Arena 上 Plus 已经排到 #16。所以这周真正值得讨论的问题不是”要不要为视觉能力买单”,而是”Max 凭什么用 6 倍价格换来 2 个百分点的 benchmark 领先”。
|
10天前
|
JavaScript 定位技术 API
CodeGraph 爆火:编程 Agent 需要的不是更多上下文,而是一张提前画好的代码地图
CodeGraph 是一款爆火的本地代码智能工具,通过 tree-sitter 解析 AST 构建结构化知识图谱(存于 SQLite),为编程 Agent 提前生成“代码地图”。它显著降低 Agent 在中大型项目中的探索成本——实测工具调用减少71%、Token 降57%、速度提升46%,支持19+语言及主流框架路由识别,完全离线、无需 API Key。
770 11
CodeGraph 爆火:编程 Agent 需要的不是更多上下文,而是一张提前画好的代码地图
|
10天前
|
人工智能 运维 JavaScript
阿里云Qoder CN(原通义灵码)全解析 产品形态、版本划分与技术适配说明
在AI辅助开发与智能办公工具持续普及的当下,阿里云旗下原通义灵码正式更名为Qoder CN,同时延伸出QoderWork CN、Qoder CN CLI、Qoder CN Mobile等多款配套产品,形成覆盖代码开发、日常办公、终端交互、移动端使用的完整工具矩阵。Qoder CN核心定位为AI智能编码助手,深度适配主流代码编辑器、集成开发环境以及终端场景;QoderWork CN则偏向桌面端综合办公辅助,二者面向不同使用场景,划分了多个版本档位,搭配差异化资源配额、功能权限与计费规则,同时兼容多款主流大模型。
798 7
|
10天前
|
存储 安全 Java
AgentScope Java 2.0:打造分布式、企业级智能体底座
AgentScope 2.0 面向分布式部署、稳定运行、权限安全等企业级需求全面升级,打造支持多租户隔离与长期稳定运行的企业级智能体底座。
|
10天前
|
JSON 缓存 安全
通过 CC Switch 本地路由让 Codex CLI 接入 DeepSeek 等第三方模型
CC Switch 通过本地路由(`127.0.0.1:15721`)实现协议转换:将 Codex 的 Responses API 请求自动映射为 DeepSeek 等厂商的 Chat Completions 接口,兼容流式响应与工具调用,无需修改 Codex 源码,安全隔离 API Key。(239字)
2102 4
通过 CC Switch 本地路由让 Codex CLI 接入 DeepSeek 等第三方模型
|
10天前
|
数据采集 人工智能 前端开发
让 Coding Agent 从黑盒到透明:阿里云 Agent 观测审计数据采集实践
AI Agent 规模化落地带来执行黑盒、行为难追溯、成本难度量三大难题。阿里云基于 OTel 标准,面向 Coding Agent、个人通用助理和框架型 Agent,推出 LoongSuite Pilot、插件及探针等无侵入采集方案,让 Agent 实现可看见、可分析、可审计、可治理。
768 150