开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

如何设计一个好的DistributionKey?

如何设计一个好的DistributionKey?

展开
收起
Medusa 2021-11-12 16:09:25 281 0
1 条回答
写回答
取消 提交回答
  • 要求用户的数据在 Distribution Key 上划分比较均匀;比如用户 ID 或者是商品宝贝 ID,一般情况下 Key 只有一个,所以它是非常均匀的,是用来作为 Distribution Key 非常好的例子。但是像年龄或者性别这种就不太适合作为Distribution Key,因为它可能会使大量的数据 Shuffle 到一个节点上,导致整个数据的分布不是很均匀。Distribution Key 主要的作用是减少关联查询、聚合运算里数据的 Shuffle。

    资料来源:《实时数仓“王炸组合”-实时计算》,下载链接:https://developer.aliyun.com/topic/download?id=7944

    2021-11-12 18:33:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
《前端智能化实践》——逻辑代码生成 立即下载
为并行图数据处理提供高层抽象/语言 立即下载
快速变化背景下,组织如何保持过程的稳定性? 立即下载