AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 正文

Cosco 为什么用 Flash 替换内存缓冲？

Cosco 为什么用 Flash 替换内存缓冲？ 求大佬解答

展开
收起
爱吃鱼的程序员 2020-12-28 14:03:14 744 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 爱吃鱼的程序员
    https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    使用Flash来作为缓冲的话是通过追加写的方式将Shuffle的数据写入缓存中，之所以这么做是因为闪存的可擦写次数是有限的，追加写可以延长闪存的寿命。闪存相对于内存存在着一定的延迟，但是总体而言这个延迟相对于整个shuffle在Cosco中缓存的时间是可以忽略不计的。

    2020-12-28 14:03:33
    赞同 展开评论
问答分类：
内存技术 开源大数据平台 E-MapReduce
问答标签：
内存缓冲
问答地址：
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 问答
相关问答
大佬，oracle单表增量同步时候源库服务器额外占用内存近2g，这不正常吧
625
1
0
服务器硬件中的内存宽带是指什么呢？
928
1
0
TSDB查询性能以及服务器内存
989
0
0
是否可以升级自定义镜像开通的云服务器ECS的CPU、内存、带宽、硬盘等？
1280
1
0
我想用持久内存型实例来运行我的参数服务器（PS），持久内存设置为内存使用方式，可以直接部署吗？
1021
1
0
内存决定服务器的什么？
698
1
0
Django服务器运行时如果内存耗尽了，会怎么样
667
1
0
Linux服务器进行性能优化中，常见的内存问题又有哪些？
1852
1
0
Linux服务器进行性能优化中，为什么内存池可以优化内存性能？
2887
2
0
正在对Linux服务器进行性能监控和调优，请问综合追踪java耗时、内存泄露，debug错误等？
571
1
0
大数据与机器学习

开源大数据平台 E-MapReduce

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

我要提问

相关文章

  • 移动硬盘盒，机械硬盘和固态硬盘通用吗？
  • 从纳秒到毫秒的“时空之旅”：CPU是如何看待内存与硬盘的？
  • ComPE for win 纯净的PE系统
  • 用AI打造你的专属《庆余年》手办！Nano Banana一键生成范闲3D手办图
  • 研究锂离子电池模型中的最佳性能和效率：对电池组配置、负载选择、放电倍率(C-rate)、容量和电量状态(SOC)的全面研究（Simulink仿真实现）

    • 热门讨论

    热门文章

  • Mem usage has exceed the limit of BE - com.mysql.j
  • 核桃编程是什么？
  • Apache Spark 3.0 是什么？
  • NeuSoft是什么？
  • 升级完，现有spark起不来了
  • hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？
  • 大佬，可以请教下，有没有遇到 com.aliyun.oss
  • 请教个问题，我想部署 1FE 节点 + 3BE节点的 StarRocks 集群， 在 EMR 控制台
  • 请问starrocks用smt工具，执行./starrocks-migrate-tool,自动构建f
  • 阿里云E-MapReduce中flinkui在哪看，入口是哪？
    • 展开全部
  • 现代流式计算的基石：Google DataFlow
  • JindoFS: 云上大数据的高性能数据湖存储方案
  • 梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • HIVE MapJoin异常问题处理总结
  • JindoFS概述：云原生的大数据计算存储分离方案
  • 5W1H(六何分析法)全景洞察大数据
  • 在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 从数砖开源 Delta Lake 说起
  • Apache Spark 3.0 将内置支持 GPU 调度
  • Flume NG 简介及配置实战
    • 展开全部
    还有其他疑问?
    咨询AI助理