mysql维表join 导致数据倾斜 各位老哥 有好的解决办法吗?

mysql维表join 导致数据倾斜 各位老哥 有好的解决办法吗?

展开
收起
游客mvss26javcocs 2022-08-10 18:02:53 426 分享 版权
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    数据倾斜是MySQL中常见的问题之一。以下是一些解决方法:

    1. 小表Join大表:这种情况比较好解决,通过MapJoin就可以,通常来说可以在Map端进行join,避免分发引起数据倾斜.

    2. 当JOIN的维表数据量较小时(可以通过参数配置不超过多大),可以使用map端join,避免分发引起数据倾斜.

    3. 当JOIN的两个表数据量都很大,且数据倾斜是有空key造成的,可以将空key处理成随机值,避免分发到同一个task.

    2023-06-29 09:36:59
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理