开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

mysql维表join 导致数据倾斜 各位老哥 有好的解决办法吗?

mysql维表join 导致数据倾斜 各位老哥 有好的解决办法吗?

展开
收起
游客mvss26javcocs 2022-08-10 18:02:53 348 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    数据倾斜是MySQL中常见的问题之一。以下是一些解决方法:

    1. 小表Join大表:这种情况比较好解决,通过MapJoin就可以,通常来说可以在Map端进行join,避免分发引起数据倾斜.

    2. 当JOIN的维表数据量较小时(可以通过参数配置不超过多大),可以使用map端join,避免分发引起数据倾斜.

    3. 当JOIN的两个表数据量都很大,且数据倾斜是有空key造成的,可以将空key处理成随机值,避免分发到同一个task.

    2023-06-29 09:36:59
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像