基于 MaxCompute + Hologres 的人群圈选系统可以分成几种计算模式？
基于 MaxCompute + Hologres 的人群圈选系统可以分成几种计算模式？
展开
收起
1
条回答
写回答
写回答
-
标签过滤分为等值过滤，可以用Equal/In/Between，这些过滤可以在百亿级别上进行操作。操作之后的结果集，要做很多的交差并集，举个常见例子，一个用户既关注了竞品品牌也关注了本公司商品，却没有买，这里面其实有并的关系，有差的关系，有交的关系。所以这些人群关系之间要组合，有很高的交差并集计算。最后还有很强的精确去重的需求，因为最终要把计算结果，变成一个唯一定位用户的ID，这个ID会用来做广告的投递。那这些需求，在引擎层面上就是数据读取效率怎么样，如果用行存读取是不是会出现IO放大的问题，数据按行去存，真正过滤是按照某一列过滤，但是IO读取，会把整行读取，会出现IO放大问题。列存还会有索引问题、过滤效果问题。计算算子上表连接时是Hash JOIN方式还是用Nest Loop JOIN方式。精确去重的效果如何。这些都是对计算引擎效率上有很高的要求。所以本质上是要解决高效数据存储与过滤、关系运算内存/CPU消耗、精确去重内存/CPU消耗问题。
2021-12-12 21:04:36赞同 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
