AI 助理
备案控制台
开发者社区 问答 正文

请教一下，现有个flink任务需要加载600M数据作为广播变量，但加载太慢，一般在20秒#Flink

请教一下，现有个flink任务需要加载600M数据作为广播变量，但加载太慢，一般在20秒左右。请问有什么优化的方法吗?#Flink

展开
收起
黄一刀 2020-06-10 20:10:20 1098 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 黄二刀

    这个太大了，不适合广播了呀，试下异步IO

    2020-06-10 20:11:17
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版
问答标签：
实时计算 Flink版任务 实时计算 Flink版数据 任务实时计算 Flink版 实时计算 Flink版任务数据 实时计算 Flink版加载
问答地址：
开发者社区 > 大数据 > 问答
相关问答
flink 处理的速度太慢 但是又没有背压，还会出现 ck 超时失败的情况，有点不知道怎么弄？
493
3
0
Flink CDC难道是join的数据不匹配，一方算的太慢了？
160
2
0
flink 数据全量数据同步 太慢什么原因？入库速度 太慢？参数配置已经是最优，
281
1
0
我想问一下Flink中我用广播变量的话怎么更新呢？我现在是用就是用第二个去覆盖第一个，不知道有啥问题
288
3
0
请问Flink中是否可以在 json_query 函数的 path 中使用变量，例如 select？
402
4
0
Flink作业变量这里使用in的方式有办法传两个bigint的值吗？
75
1
0
Flink CDC中这种cdc全量采集的时候监控源表这个反压百分100，是因为我的MySQL太慢了？
259
2
0
请问Flink 中是否可以在 json_query 函数的 path 中使用变量，例如 ？
240
3
0
实时计算创建变量OpenAPI介绍
55
1
0
Flink TUMBLE函数能否传入变量作为时间窗口的大小
64
0
0