Flink sql 在使用<>或者!=做过滤时候,null也会像在hive里面样被过滤掉么? hive里面感觉这有点坑,每次还要小心处理下.
*来自志愿者整理的flink邮件归档
不仅在 hive 中,在 Flink 中也是一样的,两个系统的SQL解析优化框架都是参考了Calcite, hive的SQL解析是自己的,flink的SQL解析和优化都是基于Calcite,
对于null值是否过滤,SQL中 一个 bool表达式(如 a > b) 的返回值 是有三个的,true,false,unknown,unknown 主要出现在有null值得情况下,比如 null > ‘hello’ 的返回值就是unknown, unknown的返回值可以在calcite中配置,Flink 默认的配置是 unknown as mode,就是 null > ‘hello’ 返回false,看你条件是过滤false的话,那么null值就会被过滤掉.
社区之前有个issue[1]在跟进这个问题, 在此之前建议处理 null 时,都用 IS NULL , IS NOT NULL 先做下过滤再做逻辑判断,一般SQL里面也是这样处理的。
[1] https://issues.apache.org/jira/browse/FLINK-18164 https://issues.apache.org/jira/browse/FLINK-18164
*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。