开发者社区> 问答> 正文

Spark提供的共享变量有哪些?

Spark提供的共享变量有哪些?

展开
收起
游客ahv54x37wvm7u 2021-12-13 19:54:00 483 0
1 条回答
写回答
取消 提交回答
  • 广播变量,是一个只读对象,在所有节点上都有一份缓存,创建方法是 SparkContext.broadcast()。创建之后再更新它的值是没有意义的,一般用 val 来修改定义。

    计数器,只能增加,可以用计数或求和,支持自定义类型。创建方法是 SparkContext.accumulator(V, name)。只有 Driver 程序可以读这个计算器的变量,RDD 操作中读取计数器变量是无意义的

    2021-12-13 19:59:15
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载