开发者社区> 问答> 正文

RDD的弹性表现是什么?

RDD的弹性表现是什么?

展开
收起
芯在这 2021-12-07 16:20:36 229 0
1 条回答
写回答
取消 提交回答
  • 1)自动的进行内存和磁盘的存储切换;

    2)基于Lingage的高效容错;

    3)task如果失败会自动进行特定次数的重试;

    4)stage如果失败会自动进行特定次数的重试,而且只会计算失败的分片;

    5)checkpoint和persist,数据计算之后持久化缓存

    6)数据调度弹性,DAG TASK调度和资源无关

    7)数据分片的高度弹性,a.分片很多碎片可以合并成大的,b.par

    2021-12-07 16:20:49
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
千亿特征流式学习在大规模推荐排序场景的应用 立即下载
千亿特征流式学习 在大规模推荐排序场景的应用 立即下载
基于Spark的面向十亿级别特征的大规模机器学习 立即下载