视频介绍
本分享会先介绍传统数据增量同步方案，之后对比新方案（完全基于Spark无需额外组件），介绍新方案如何结合最新的数据湖(delta lake)实现，同时引入spark-binlog，极大的简化了数据增量的门槛和架构。如果时间允许，我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持
我们新的数据增量方案的。
讲师介绍
祝威廉，资深数据架构，11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台，降低AI落地成本相关工作上。
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
玩转阿里云EMR三部曲-入门篇3529
-
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析231
-
免费公测｜阿里云EMR Serverless StarRocks 公测正式开启！6786
-
阿里巴巴的通义千问大模型1820
-
小红书 API 接口使用指南：笔记详情数据接口的接入与使用532
-
Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析15895
-
云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写306
-
王日宇：基于 StarRocks 和 Paimon 打造湖仓分析新范式1507
-
Paimon 与 Spark 的集成（二）：查询优化118295
-
阿里云EMR Remote Shuffle Service在小米的实践，以及开源3367
展开全部
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？575
-
阿里云共享块存储和NAS还有OSS的区别是什么呀7749
-
EMR StarRocks有hive或spark的炸裂函数，类似explode可以用吗?702
-
我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？212
-
hdfs使用Jindo SDK 4.6.10 往oss迁数据时候问题，oss类型归档存储295
-
如果开传奇，同时在线4-5个版本需要什么配置云服务器多少带宽3924
-
Spark3 Join Hints是什么？1625
-
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？2071
-
NeuSoft是什么？1671
-
sprak是什么725
展开全部
来源圈子
更多
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br>
微信公众号：Apache Spark技术交流社区
为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅
相关文章
更多
重磅发布｜云原生数据仓库AnalyticDB技术架构升级，大幅降低存储成本
CCO x Hologres：实时数仓高可用架构再次升级，双11大规模落地
OPPO 数仓与数据湖融合架构升级的实践与思考
AnalyticDB PostgreSQL新功能发布，内核及SQL诊断与优化能力双双升级
江门农商银行引入阿里云AnalyticDB，实现数据自助分析平台升级
Hologres助力AliExpress双11实时数仓升级
福利 | 新一代云原生数据仓库AnalyticDB即将迎来全新升级！
阿里云新品发布会周刊第62期 丨 新一代云原生数据仓库AnalyticDB 全新升级
分析型数据库AnalyticDB全面升级
mysql 升级和降级