1
条回答
写回答
写回答
-
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB使用Flash来作为缓冲的话是通过追加写的方式将Shuffle的数据写入缓存中，之所以这么做是因为闪存的可擦写次数是有限的，追加写可以延长闪存的寿命。闪存相对于内存存在着一定的延迟，但是总体而言这个延迟相对于整个shuffle在Cosco中缓存的时间是可以忽略不计的。
2020-12-28 14:03:33赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门讨论
热门文章
大佬，可以请教下，有没有遇到 com.aliyun.oss
1151
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？
427
各位大佬， 使用 StarRocks 的时候， 有遇到过这种情况么？怎么办？
422
阿里云E-MapReduce notebook 大概什么时候会正式上线？
204
EMR StarRocks有hive或spark的炸裂函数，类似explode可以用吗?
664
StarRocks 能支持 AUTO_INCREMENT么
901
升级过程中 key_load_public: invalid format 是读取公钥出了问题吗 ？
450
在emr运行spark，插入数据到paimon表报错，怎么解决？
85
什么是 Schema 约束？
1038
JindoDistCp是什么？
845
展开全部
分布式快照算法: Chandy-Lamport
23571
HIVE MapJoin异常问题处理总结
14949
漫谈分布式计算框架
11139
5W1H(六何分析法)全景洞察大数据
11083
使用Hive进行OSS数据处理的一个最佳实践
11400
通过ZeppelinHub viewer来分享zeppelin的notebook和报表数据
7009
E-MapReduce结合DataV进行数据展现
6468
Apache Flink : Checkpoint 原理剖析与应用实践
7233
SparkSQL自适应执行
9203
利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
6792
展开全部
