Spark3.0在实时数仓易用性方面有何提升吗？例如读取binlog写入delta lake
Spark3.0在实时数仓易用性方面有何提升吗？例如读取binlog写入delta lake
展开
收起
1
条回答
写回答
写回答
-
在下周的Spark+AI Summit里，有多个相关产品会宣布。Spark 3.0 提供了Delete，Update和Merge的SQL 支持，Delta Lake的下一个开源版本就可以提供SQL的接口。至于database recovery log的读取，这个开源社区有人做了。其实对于不同数据库的recovery log的可靠读取一般需要第三方库或者产品就可以来实现。Delta Lake可以存储相关读取的数据。
2020-06-16 14:39:21赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门讨论
热门文章
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？
2089
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗
1144
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？
618
E-MapReduce和MaxCompute的区别是什么？
2002
阿里云E-MapReduce在mac本地测试是需要怎么安装一下吗？
279
阿里云共享块存储和NAS还有OSS的区别是什么呀
7760
我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？
231
Spark调优数据分布不均是什么意思？
529
Mem usage has exceed the limit of BE - com.mysql.j
1488
E-MapReduce有时候遇到 跑hive 任务 跑着 yarn 节点就掉了 如何排查问题？
125
展开全部
如何使用Kafka Connect实现同步RDS binlog数据
16107
如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
12912
阿里封神-大数据处理技术漫谈
11887
JindoFS概述：云原生的大数据计算存储分离方案
23212
助力云上开源生态 - 阿里云开源大数据平台的发展
11826
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
10610
从数砖开源 Delta Lake 说起
9688
Apache Spark 3.0 将内置支持 GPU 调度
10560
钉钉群直播【Spark Relational Cache 原理和实践】
8971
EMR Spark Relational Cache的执行计划重写
9084
展开全部
相关课程
更多
相关文章
相关电子书
更多
