开发者社区 问答 正文

Spark累加器的特点是什么?

Spark累加器的特点是什么?

展开
收起
芯在这 2021-12-06 00:31:31 330 分享 版权
1 条回答
写回答
取消 提交回答
  • 累加器在全局唯一的,只增不减,记录全局集群的唯一状态。

    在exe中修改它,在driver读取。

    executor级别共享的,广播变量是task级别的共享。

    两个application不可以共享累加器,但是同一个app不同的job可以共享

    2021-12-06 00:31:46
    赞同 展开评论