开发者社区> 问答> 正文

Spark累加器的特点是什么?

Spark累加器的特点是什么?

展开
收起
芯在这 2021-12-06 00:31:31 295 0
1 条回答
写回答
取消 提交回答
  • 累加器在全局唯一的,只增不减,记录全局集群的唯一状态。

    在exe中修改它,在driver读取。

    executor级别共享的,广播变量是task级别的共享。

    两个application不可以共享累加器,但是同一个app不同的job可以共享

    2021-12-06 00:31:46
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载