备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问各位是怎么解决实时流数据倾斜的？

请问各位是怎么解决实时流数据倾斜的？本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击这里欢迎加入感兴趣的技术领域群。

展开

收起

黄一刀 2019-12-11 16:59:59 3162 0

2 条回答

写回答

取消提交回答

虎纠小老头

可以keyby keyby之后还是数据倾斜的话现在解决的方法一般是LocalGlobal

可以看一下相当于MapReduce的Combine+Reduce https://help.aliyun.com/document_detail/98981.html?spm=a2c4g.11186623.6.614.86286d163E6NmE

2019-12-11 17:12:04

赞同展开评论打赏
黄二刀

和Spark类似的操作，给key加随机前后缀打散，然后聚合两次

2019-12-11 17:00:26

赞同展开评论打赏

问答分类：

开发者实时计算 Flink版

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

实时计算 Flink版

分析定位造成反压的原因时，如何判断是下游的数据源性能的问题？

695

1

0

当数据源 source 消费不均匀时，数据倾斜的现象如何解决？

311

1

0

大家有遇到用flink cdc 丢数据的问题吗就是最终表偶发会少几条数据

322

0

0

FlinkSQL压力测试谁知道怎么做吗？如果输入的数据量很大，查询很复杂的话，运算结果会实时出来吗？

294

1

0

大佬们，一般cdc的采集过来的数据，后续根据表分流你们是怎么处理成动态的

314

0

0

请教个问题消费flink的cdc数据如果有多张表的数据怎么做既能保证效率又能比较优

1002

1

0

Flink如何保证精确一次性消费？

1918

1

0

Flink 上报到pushgateway到数据量太大了

1010

0

0

数据源的数据量的处理方式是什么？

256

0

0

实时、增量数据通道的作用是什么？

455

1

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

Flink-CDC 文档网站地址是什么？

使用Flink CDC，生产环境要申请的服务器如何评估

Caused by: org.apache.kafka.common.errors.TimeoutE

flink1.15启动后无法访问webui的问题有人遇到过吗

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

现在flink消费kafka限速是怎么做的?

请问flink-connector-jdbc在sink时，如何设置批量写入？

flink web UI 是不是本身不支持登录认证，必须通过nginx来加登录认证？

展开全部

Apache Flink 1.10.0 重磅发布，年度最大规模版本升级！

阿里云实时计算Flink的产品化思考与实践【下】

Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架

友盟+｜如何通过阿里云Flink+Paimon实现流式湖仓落地方案

Flink+Paimon+Hologres 构建实时湖仓数据分析

官宣｜Apache Paimon 毕业成为顶级项目，数据湖步入实时新篇章！

十大行业经典案例！Apache Flink 的 40 个最佳实践

基于 Flink SQL CDC 的实时数据同步方案

Flink CDC 系列 - 实时抽取 Oracle 数据，排雷和调优实践

日均万亿条数据如何处理？爱奇艺实时计算平台这样做

展开全部

相关课程

更多

阿里云实时数仓实战 - 数据生成及采集

304

20

去学习

相关电子书

更多

效率提升：表格存储实时数据流：Stream的技术揭秘和应用场景 立即下载

FLINK在大规模实时无效广告流量检测中的应用 立即下载

为流处理世界重新设计的存储 立即下载

相关实验场景

更多