开发者社区> 问答> 正文

FlinkSQL1.12查询hive表很快finished?

SQL很简单,如下:

select * from test2 where dt=20210124 and hour=02 and supply_id=2027 limit 1000;

提交之后很快就finished,并且没有查询到任何数据。

但实际是有数据的,通过spark-sql确认过相同的语句可以查询到数据。

看了JM和TM的日志中有No more splits available。

目前来看貌似一个split也没有。这个应该是1.12的新sourceAPI。

不清楚是不是bug,还是有什么使用注意点呢?*来自志愿者整理的flink邮件归档

展开
收起
JACKJACK 2021-12-08 15:37:05 969 0
1 条回答
写回答
取消 提交回答
  • 对的是我!

    你好,

    关于分区字段的filter,flink与hive的隐式类型转换规则不同,建议在写where条件时按照分区字段的类型来指定常量。 关于读ORC的异常,请问你的hive版本是多少呢?另外hive配置中是否指定过hive.txn.valid.txns参数?*来自志愿者整理的flink邮件归档

    2021-12-08 16:43:38
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Comparison of Spark SQL with Hive 立即下载
Hive Bucketing in Apache Spark 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载