视频介绍
本分享会先介绍传统数据增量同步方案，之后对比新方案（完全基于Spark无需额外组件），介绍新方案如何结合最新的数据湖(delta lake)实现，同时引入spark-binlog，极大的简化了数据增量的门槛和架构。如果时间允许，我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持
我们新的数据增量方案的。
讲师介绍
祝威廉，资深数据架构，11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台，降低AI落地成本相关工作上。
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
助力云上开源生态 - 阿里云开源大数据平台的发展11814
-
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake8720
-
使用Spark Streaming SQL进行PV/UV统计7068
-
在 EMR 中使用 ES-Hadoop4120
-
Spark Operator浅析9515
-
开源大数据周刊-第21期3553
-
E-MapReduce集群使用Oozie工作流简单示例3008
-
在E-MapReduce集群内运行Spark GraphX作业2640
-
大数据列式存储 Parquet 和 ORC 简介5669
-
开源大数据周刊-第25期1961
展开全部
-
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗1120
-
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？2065
-
Cosco的优势是什么？1178
-
大佬，可以请教下，有没有遇到 com.aliyun.oss1214
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？565
-
阿里云共享块存储和NAS还有OSS的区别是什么呀7740
-
您好，starrocksreader 有可用于社区版StarRocks的插件和模板吗？530
-
如果开传奇，同时在线4-5个版本需要什么配置云服务器多少带宽3918
-
阿里云E-MapReduce xml的带有kerberos如何配置呢？105
-
阿里云数据湖存储OSS的产生背景是什么？1361
展开全部
来源圈子
更多
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br>
微信公众号：Apache Spark技术交流社区
为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅
相关文章
更多
带你读《Apache Doris 案例集》——04 星云零售信贷 基于 Apache Doris 的 OLAP 演进之路（2）
带你读《Apache Doris 案例集》——05 当 Apache Doris 遇上大模型：探秘腾讯音乐如何 基于大模型+ OLAP 构建智能数据服务平台（1)
带你读《Apache Doris 案例集》——05 当 Apache Doris 遇上大模型：探秘腾讯音乐如何 基于大模型+ OLAP 构建智能数据服务平台（2)
带你读《Apache Doris 案例集》——05 当 Apache Doris 遇上大模型：探秘腾讯音乐如何 基于大模型+ OLAP 构建智能数据服务平台（3)
带你读《Apache Doris 案例集》——08秒级数据写入，毫秒查询响应，天眼查基于 Apache Doris 构建统一实时数仓（1）
带你读《Apache Doris 案例集》——08秒级数据写入，毫秒查询响应，天眼查基于 Apache Doris 构建统一实时数仓（2）
《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示一：实现AnalyticDB MySQL版弹性能力——四、设置白名单
mysql函数定义语法
mysql自带计划任务创建语法
mysql常用基础操作语法（十）~~子查询【命令行模式】