是时候改变你数仓的增量同步方案了

分享:
/api/qrcode?size=140&key=449fcf4342d3e92d2933e240b809117227e8e28a&text=https%3A%2F%2Fdeveloper.aliyun.com%2Flive%2F1732
主播: KB小秘书
时间: 2019-12-05 19:30:00
活动介绍

本分享会先介绍传统数据增量同步方案,之后对比新方案(完全基于Spark无需额外组件),介绍新方案如何结合最新的数据湖(delta lake)实现,同时引入spark-binlog,极大的简化了数据增量的门槛和架构。如果时间允许,我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持
我们新的数据增量方案的。

讲师介绍

祝威廉,资深数据架构,11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台,降低AI落地成本相关工作上。