你好,MaxCompute UDAF自定义函数iterate里面是按什么规则分片的按group by的字段吗?UDAF同一个字段值会有两个分片吗,每个分片容量限制是多少?
是按照group by分片的,跟聚合函数使用方法类似,比如sum一类。
以一个group by语句为例,
数据先根据SQL本身的设置,比如splitsize进行分片,分片后进入map阶段后调用到iterate,然后根据group by进入terminate,中间shuffle阶段可能需要做merge,这样说您不知道是否更加清楚一些
splitsize请参考
https://help.aliyun.com/document_detail/27834.html?spm=5176.doc27867.6.584.MQ2zrq
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。