你好,MaxCompute UDAF自定义函数iterate里面是按什么规则分片的按group by的字段吗?UDAF同一个字段值会有两个分片吗,每个分片容量限制是多少?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

你好,MaxCompute UDAF自定义函数iterate里面是按什么规则分片的按group by的字段吗?UDAF同一个字段值会有两个分片吗,每个分片容量限制是多少?

祁同伟 2017-08-24 14:05:46 1954

你好,MaxCompute UDAF自定义函数iterate里面是按什么规则分片的按group by的字段吗?UDAF同一个字段值会有两个分片吗,每个分片容量限制是多少?

分布式计算 MaxCompute
分享到
取消 提交回答
全部回答(1)
  • 琴瑟
    2019-07-17 21:31:35
    已采纳

    是按照group by分片的,跟聚合函数使用方法类似,比如sum一类。
    以一个group by语句为例,
    数据先根据SQL本身的设置,比如splitsize进行分片,分片后进入map阶段后调用到iterate,然后根据group by进入terminate,中间shuffle阶段可能需要做merge,这样说您不知道是否更加清楚一些

    splitsize请参考
    https://help.aliyun.com/document_detail/27834.html?spm=5176.doc27867.6.584.MQ2zrq

    2 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题