Flink SQL 问题之查询时报错如何解决

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。

问题一:使用 SQL Client,进行hive查询时报错: 命名有了flink-connector-hive_2.11-1.12.0.jar,还是报java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource 麻烦看一下


使用 SQL Client,进行hive查询时报错:  命名有了flink-connector-hive_2.11-1.12.0.jar,还是报java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource  麻烦看一下

报错信息:

Flink SQL> select count(*) from zxw_test_1225_01;  2020-12-30 16:20:42,518 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.spark.client.submit.timeout.interval does not exist  2020-12-30 16:20:42,519 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.support.sql11.reserved.keywords does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.spark.client.rpc.server.address.use.ip does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.enforce.bucketing does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.server2.enable.impersonation does not exist  2020-12-30 16:20:42,520 WARN org.apache.hadoop.hive.conf.HiveConf [] - HiveConf of name hive.run.timeout.seconds does not exist  2020-12-30 16:20:43,065 WARN org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory [] - The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.  2020-12-30 16:20:43,245 INFO org.apache.hadoop.mapred.FileInputFormat [] - Total input files to process : 24  [ERROR] Could not execute SQL statement. Reason:  java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource

lib包:

tree lib

lib  ├── flink-connector-hive_2.11-1.12.0.jar  ├── flink-csv-1.12.0.jar  ├── flink-dist_2.11-1.12.0.jar  ├── flink-hadoop-compatibility_2.11-1.12.0.jar  ├── flink-json-1.12.0.jar  ├── flink-shaded-hadoop-2-uber-2.8.3-10.0.jar  ├── flink-shaded-zookeeper-3.4.14.jar  ├── flink-table_2.11-1.12.0.jar  ├── flink-table-blink_2.11-1.12.0.jar  ├── hive-exec-2.3.4.jar  ├── log4j-1.2-api-2.12.1.jar  ├── log4j-api-2.12.1.jar  ├── log4j-core-2.12.1.jar  └── log4j-slf4j-impl-2.12.1.jar*来自志愿者整理的flink邮件归档


参考回答:

你在启动之后才把 jar 包放进去的吗,重启下 SQL Client 试试?


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/361812?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题二:flink-sql 客户端,咋回事 我show tables 报错


1c2a8e4c928c5b487b7d8223d1e7ffac_7750382a79194eb2b1fb4fb761dc706c.png


参考回答:

缺少语言包


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/446435?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题三:Flink Sql不支持executeSql多次select into语句吗?


一个Flink CDC程序,想要执行两次不同的select into语句。报错



关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/438350?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题四:flink sql client数据插入文件报错,请教各位大佬,这个该怎么解决?


flink sql client数据插入文件报错,请教各位大佬,这个该怎么解决? #Flink



参考回答:

因为只支持append 流,要么换插入的地方,要么改源码


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/310281?spm=a2c6h.14164896.0.0.169a63bf5w2htC


问题五:我使用flink sql cdc取连接 mysql表的时候,当我的mysql表type这个字段类型是tinyint类型时 使用type in(1,2,3,4,5)会报以下的错误,只有当我把字段类型改成int的时候才能使用in,这是符合预期的吗,当字段类型不匹配的时候 flink sql不会自动转换类型吗?


我使用flink sql cdc取连接 mysql表的时候,当我的mysql表type这个字段类型是tinyint类型时 使用type in(1,2,3,4,5)会报以下的错误,只有当我把字段类型改成int的时候才能使用in,这是符合预期的吗,当字段类型不匹配的时候 flink sql不会自动转换类型吗?

[ERROR] Could not execute SQL statement. Reason: org.codehaus.commons.compiler.CompileException: Line 6, Column 88: No applicable constructor/method found for actual parameters "int"; candidates are: "org.apache.flink.table.runtime.util.collections.ByteHashSet()*来自志愿者整理的flink邮件归档


参考回答:

从你的报错来看,是 in 不支持隐式 CAST。 你要么可以把 type 定义成 INT,要不把后面的值 CAST 成 TINYINT。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/371595?spm=a2c6h.14164896.0.0.671063bfD4aSq3

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
14天前
|
SQL 关系型数据库 MySQL
这样的SQL执行为什么不会报错?optimizer_trace深度历险
【10月更文挑战第12天】本文探讨了一条看似错误但实际上能成功执行的SQL语句,通过开启MySQL的优化器追踪功能,详细分析了SQL的执行过程,揭示了子查询被优化器解析为连接操作的原因,最终解释了为何该SQL不会报错。文章不仅增进了对SQL优化机制的理解,也展示了如何利用优化器追踪解决实际问题。
|
1天前
|
SQL 存储 缓存
如何优化SQL查询性能?
【10月更文挑战第28天】如何优化SQL查询性能?
18 10
|
9天前
|
SQL 数据库 开发者
功能发布-自定义SQL查询
本期主要为大家介绍ClkLog九月上线的新功能-自定义SQL查询。
|
16天前
|
SQL 移动开发 Oracle
SQL语句实现查询连续六天数据的方法与技巧
在数据库查询中,有时需要筛选出符合特定时间连续性条件的数据记录
|
23天前
|
SQL Java 数据库连接
如何使用`DriverManager.getConnection()`连接数据库,并利用`PreparedStatement`执行参数化查询,有效防止SQL注入。
【10月更文挑战第6天】在代码与逻辑交织的世界中,我从一名数据库新手出发,通过不断探索与实践,最终成为熟练掌握JDBC的开发者。这段旅程充满挑战与惊喜,从建立数据库连接到执行SQL语句,再到理解事务管理和批处理等高级功能,每一步都让我对JDBC有了更深的认识。示例代码展示了如何使用`DriverManager.getConnection()`连接数据库,并利用`PreparedStatement`执行参数化查询,有效防止SQL注入。
64 5
|
24天前
|
SQL 数据挖掘 数据库
SQL查询每秒的数据:技巧、方法与性能优化
id="">SQL查询功能详解 SQL(Structured Query Language,结构化查询语言)是一种专门用于与数据库进行沟通和操作的语言
|
24天前
|
SQL 移动开发 大数据
SQL语句查询连续六天满足条件的记录
在数据库管理和数据分析中,我们经常需要查询符合特定时间范围内连续几天的记录
|
5天前
|
SQL 关系型数据库 MySQL
mysql编写sql脚本:要求表没有主键,但是想查询没有相同值的时候才进行插入
mysql编写sql脚本:要求表没有主键,但是想查询没有相同值的时候才进行插入
12 0
|
16天前
|
SQL 数据可视化 BI
SQL语句及查询结果解析:技巧与方法
在数据库管理和数据分析中,SQL语句扮演着至关重要的角色
|
22天前
|
SQL 监控 关系型数据库
使用SQL语句查询操作耗时的技巧与方法
在数据库管理和优化过程中,了解SQL查询操作的耗时是至关重要的

相关产品

  • 实时计算 Flink版