Flink SQL 问题之查询时报错如何解决

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。

问题一:使用 SQL Client,进行hive查询时报错: 命名有了flink-connector-hive_2.11-1.12.0.jar,还是报java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource 麻烦看一下


使用 SQL Client,进行hive查询时报错:  命名有了flink-connector-hive_2.11-1.12.0.jar,还是报java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource  麻烦看一下

报错信息:

Flink SQL> select count(*) from zxw_test_1225_01;  2020-12-30 16:20:42,518 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.spark.client.submit.timeout.interval does not exist  2020-12-30 16:20:42,519 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.support.sql11.reserved.keywords does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.spark.client.rpc.server.address.use.ip does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.enforce.bucketing does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.server2.enable.impersonation does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.run.timeout.seconds does not exist  2020-12-30 16:20:43,065 WARN org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory [] - The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.  2020-12-30 16:20:43,245 INFO org.apache.hadoop.mapred.FileInputFormat [] - Total input files to process : 24  [ERROR] Could not execute SQL statement. Reason:  java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource

lib包:

tree lib

lib  ├── flink-connector-hive_2.11-1.12.0.jar  ├── flink-csv-1.12.0.jar  ├── flink-dist_2.11-1.12.0.jar  ├── flink-hadoop-compatibility_2.11-1.12.0.jar  ├── flink-json-1.12.0.jar  ├── flink-shaded-hadoop-2-uber-2.8.3-10.0.jar  ├── flink-shaded-zookeeper-3.4.14.jar  ├── flink-table_2.11-1.12.0.jar  ├── flink-table-blink_2.11-1.12.0.jar  ├── hive-exec-2.3.4.jar  ├── log4j-1.2-api-2.12.1.jar  ├── log4j-api-2.12.1.jar  ├── log4j-core-2.12.1.jar  └── log4j-slf4j-impl-2.12.1.jar*来自志愿者整理的flink邮件归档


参考回答:

你在启动之后才把 jar 包放进去的吗,重启下 SQL Client 试试?


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/361812?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题二:flink-sql 客户端,咋回事 我show tables 报错


1c2a8e4c928c5b487b7d8223d1e7ffac_7750382a79194eb2b1fb4fb761dc706c.png


参考回答:

缺少语言包


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/446435?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题三:Flink Sql不支持executeSql多次select into语句吗?


一个Flink CDC程序,想要执行两次不同的select into语句。报错



关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/438350?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题四:flink sql client数据插入文件报错,请教各位大佬,这个该怎么解决?


flink sql client数据插入文件报错,请教各位大佬,这个该怎么解决? #Flink



参考回答:

因为只支持append 流,要么换插入的地方,要么改源码


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/310281?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题五:我使用flink sql cdc取连接 mysql表的时候,当我的mysql表type这个字段类型是tinyint类型时 使用type in(1,2,3,4,5)会报以下的错误,只有当我把字段类型改成int的时候才能使用in,这是符合预期的吗,当字段类型不匹配的时候 flink sql不会自动转换类型吗?


我使用flink sql cdc取连接 mysql表的时候,当我的mysql表type这个字段类型是tinyint类型时 使用type in(1,2,3,4,5)会报以下的错误,只有当我把字段类型改成int的时候才能使用in,这是符合预期的吗,当字段类型不匹配的时候 flink sql不会自动转换类型吗?

[ERROR] Could not execute SQL statement. Reason: org.codehaus.commons.compiler.CompileException: Line 6, Column 88: No applicable constructor/method found for actual parameters "int"; candidates are: "org.apache.flink.table.runtime.util.collections.ByteHashSet()*来自志愿者整理的flink邮件归档


参考回答:

从你的报错来看,是 in 不支持隐式 CAST。 你要么可以把 type 定义成 INT,要不把后面的值 CAST 成 TINYINT。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/371595?spm=a2c6h.14164896.0.0.671063bfD4aSq3

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
10天前
|
SQL
sql语句加正则 简化查询
sql语句加正则 简化查询
14 0
sql语句加正则 简化查询
|
28天前
|
SQL
sql server链接查询
sql server链接查询
17 1
|
28天前
|
SQL
sql server简单查询
sql server简单查询
14 1
|
1月前
|
消息中间件 Java Kafka
Flink CDC 在外部查询某个 job 中的表数据
【2月更文挑战第27天】Flink CDC 在外部查询某个 job 中的表数据
40 5
|
18天前
|
SQL 关系型数据库 MySQL
mysql一条sql查询出多个统计结果
mysql一条sql查询出多个统计结果
13 0
|
28天前
|
SQL
sql高级查询
sql高级查询
12 0
|
1月前
|
SQL 存储 数据可视化
10个高级的 SQL 查询技巧
10个高级的 SQL 查询技巧
|
26天前
|
SQL JSON Kubernetes
Seata常见问题之服务端 error日志没有输出,客户端执行sql报错如何解决
Seata 是一个开源的分布式事务解决方案,旨在提供高效且简单的事务协调机制,以解决微服务架构下跨服务调用(分布式场景)的一致性问题。以下是Seata常见问题的一个合集
97 0
|
26天前
|
Java 关系型数据库 MySQL
Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错java.lang.NoClassDefFoundError: Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig
【2月更文挑战第33天】Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错java.lang.NoClassDefFoundError: Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig
46 2
|
29天前
|
SQL 数据库
sql server高级查询,看这篇文章就够了
sql server高级查询,看这篇文章就够了
21 0

相关产品

  • 实时计算 Flink版