打扰一下大家 如果对key的字符串型的value 进行累加是用 reduceByKey(_+_)好 还是用 agg.(concat_ws(""), collect_list(col)) 好啊 现在GC时间特别长 都占用三分之一的时间了 第一种的累加是 buffer累加 还是 不停的创建新的定长字符串-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

打扰一下大家 如果对key的字符串型的value 进行累加是用 reduceByKey(_+_)好 还是用 agg.(concat_ws(""), collect_list(col)) 好啊 现在GC时间特别长 都占用三分之一的时间了 第一种的累加是 buffer累加 还是 不停的创建新的定长字符串

社区小助手 2019-05-29 17:33:23 1173

不知道里面是不是用buffer的

Java
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:36:20

    你的函数是 (string,string){string+string}, 它就执行string+string

    0 0
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程