1
条回答
写回答
写回答
-
使用Spark来处理。所有Delta Lake的元数据均以开源parquet的格式存储，数据与元数据总是相伴相生，无需 进行同步。使用Spark处理元数据，使得Delta Lake的元数据可以在理论上进行无限的扩展。 以上内容摘自《Databricks数据洞悉》电子书，点击https://developer.aliyun.com/topic/download?id=8545可下载完整版
2022-07-29 10:25:35赞同 展开评论 打赏
问答分类：
问答地址：
开发者社区
>
大数据与机器学习
>
开源大数据平台 E-MapReduce
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门讨论
热门文章
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？
520
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？
2036
大佬，可以请教下，有没有遇到 com.aliyun.oss
1184
Mem usage has exceed the limit of BE - com.mysql.j
1458
EMR StarRocks有hive或spark的炸裂函数，类似explode可以用吗?
684
阿里云E-MapReduce notebook 大概什么时候会正式上线？
276
阿里云E-MapReduce中starrocks 2.4的mysql外部表哪个字段类型，映射不上吗？
210
sqoop，任务日志刷新到这里，就一直卡住了，也没有提交到yarn，请问大神这个是什么情况？该怎么排
666
sprak是什么
708
Mlflow的核心功能是什么？
716
展开全部
JindoFS: 云上大数据的高性能数据湖存储方案
16374
阿里封神-大数据处理技术漫谈
11851
JindoFS概述：云原生的大数据计算存储分离方案
23132
钉钉群直播【Spark Relational Cache 原理和实践】
8962
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
8710
Presto实现原理（转）
7166
使用Spark Streaming SQL基于时间窗口进行数据统计
8352
通过可视化更好的了解你的Spark应用
5880
YARN ResourceManager重启作业保留机制
7482
利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
6814
展开全部
相关文章
相关电子书
更多
