pyflink query 语句执行获取数据速度很慢，where子句不过滤数据么？
connector 从数据库读取整张表格，执行： env.sql_query("select a , b, c from table1 left join table2 on a = d where b = '103' and c = '203' and e = 'AC' and a between 20160701 and 20170307 order by biz_date") 其中表 a 的数据量很大，能有1千万条，但匹配出来的数据只有250条，本机执行要10分钟！ 了解到 flink 1.11存在where子句不会先过滤数据，请问flink1.12 仍存在这个问题么？怎么优化呢？*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
表a 在 sql 语句的哪里呢？
关心的真的是过滤问题么？ 如果你对你的业务十分熟悉，且了解到 flink1.11 不过 过滤，那为什么 不自行过滤 优化下呢？
如果，不是过滤问题，是大数 join 小数 问题，或者 大数 join 大数问题，是不是可以考虑 广播传播 或者 并行度 的优化方向？
是不是应该 先分析好业务问题，在去看 flink1.12 能否解决问题。*来自志愿者整理的FLINK邮件归档
2021-12-02 16:06:49赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
