Flink SQL 问题之提交执行报错如何解决-阿里云开发者社区

问题一：写了个flink-sql程序，然后通过webUI提交执行报错，请问这个问题该怎么解决呢？ flink：1.13.6 flink-cdc：2.2.1

写了个flink-sql程序，然后通过webUI提交执行报错，请问这个问题该怎么解决呢？ flink：1.13.6 flink-cdc：2.2.1

参考回答：

根据您提供的信息，无法直接确定报错的具体原因。但是，在提交 Flink SQL 程序时出现错误，以下是一些常见的排查步骤和解决方法：

检查错误日志：在 Flink 的日志中查找详细的错误消息和堆栈跟踪信息。Flink 的日志通常位于日志目录下的 flink-*.log 文件中。检查日志可以帮助您定位问题所在。
检查程序依赖项：确保您的 Flink SQL 程序所需的所有依赖项已正确配置，并且版本与 Flink 和 CDC 版本兼容。检查程序是否缺少必需的库或依赖项，并将其添加到应用程序的类路径中。
检查网络连接：确保 Flink WebUI 和相关组件（如 CDC）之间的网络连接正常。如果存在网络问题，可能会导致提交作业失败。尝试通过其他方式测试网络连接性，例如使用命令行工具或 API。
检查配置文件：检查 Flink 和 CDC 的配置文件是否正确设置。特别关注与 WebUI 相关的配置项，例如 web.upload.dir、web.tmpdir 等。确保这些配置项指向正确的目录，并且有足够的权限进行写操作。
升级或降级组件版本：如果您发现 Flink、CDC 或其他相关组件的版本之间存在不兼容性或已知问题，可以尝试升级或降级相应的组件版本，以解决可能的兼容性问题。
检查资源配置：确保您为 Flink 集群分配了足够的资源（CPU、内存、磁盘空间等），以满足提交作业的需求。如果资源不足，可能导致提交失败或执行错误。
联系社区支持：如果以上步骤无法解决问题，建议向 Flink 社区寻求帮助。社区成员可以提供更深入的调查和针对性的建议，以解决您遇到的具体问题。

请注意，由于无法查看具体的错误信息和堆栈跟踪，上述建议仅为一般性指导。建议您详细检查相关日志，并结合具体错误信息来进行排查和解决。

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/447716?spm=a2c6h.14164896.0.0.352c63bftrvBOz

问题二：在执行flink sql的时候报错,有见过的吗 Flink1.9的 org.apache.flink.table.api.ValidationException: SQL validation failed. From line 1, column 121 to line 1, column 157: Cannot apply 'TUMBLE' to arguments of type 'TUMBLE(, )'. Supported form(s): 'TUMBLE( , )' 'TUMBLE( , , )' 我指定了时间戳也不行, #Flink

在执行flink sql的时候报错,有见过的吗 Flink1.9的 org.apache.flink.table.api.ValidationException: SQL validation failed. From line 1, column 121 to line 1, column 157: Cannot apply 'TUMBLE' to arguments of type 'TUMBLE(, )'. Supported form(s): 'TUMBLE( , )' 'TUMBLE( , , )' 我指定了时间戳也不行, #Flink

参考回答：

你的时间戳参数不是 TIMESTAMP ，而是 STRING，window 的参数必须是 TIMESTAMP。

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/306731?spm=a2c6h.14164896.0.0.352c63bftrvBOz

问题三：flinksql连接kafka报错如何解决？

使用flinksql连接kafka，kafka的数据格式内部有个字段叫time，我在create table的时候将time字段加了反单引号还是不行，报错，有什么别的方法吗

CREATE TABLE table1 ( bg BIGINT, user_source BIGINT, bossid BIGINT, geekid BIGINT, qq_intent BIGINT, phone_intent BIGINT, wechat_intent BIGINT, time BIGINT, t as to_timestamp(from_unixtime(__ts,'yyyy-MM-dd HH:mm:ss')), watermark for t as t - interval '5' second ) WITH ( ... );

*来自志愿者整理的flink邮件归档

参考回答：

1.10的确是存在一个这样的bug[1]，这个已经在1.10.1和1.11.0中修复了，可以尝试下1.10.1或者1.11.1版本。

[1] https://issues.apache.org/jira/browse/FLINK-16068

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/373464?spm=a2c6h.14164896.0.0.7c5b63bfCZ5MWk

问题四：使用flink-sql写入mysql的时候，只指定插入的字段，但是会报错id字段错误，没有默认值，创建时间和修改时间，但是ddl我已经都是设置了默认值，请问这种情况怎么处理

使用flink-sql写入mysql的时候，只指定插入的字段，但是会报错id字段错误，没有默认值，创建时间和修改时间，但是ddl我已经都是设置了默认值，请问这种情况怎么处理

参考回答：

根据您提供的信息，报错是由于在使用 Flink SQL 向 MySQL 写入数据时，指定插入的字段但没有为 id 字段指定默认值导致的。同时，您还提到已经在 DDL（数据定义语言）中为创建时间和修改时间设置了默认值。

针对这种情况，您可以尝试以下解决方案：

检查表结构：确保在表的 DDL 中正确地为 id 字段设置了默认值。可以使用 MySQL 的命令行或客户端工具来检查表的结构。插入语句中包含 id 字段：如果在插入数据时指定了具体的字段列表，包括 id 字段，那么请确保在插入语句中为 id 字段提供一个有效的值，或者将其设置为 NULL（如果允许）。如果您不想手动操作 id 字段，可以考虑将其设置为自增字段，并在插入语句中省略 id 字段。使用 INSERT INTO SELECT 语句：如果您希望从源表中选择特定的字段并将它们插入到目标表中，可以尝试使用 INSERT INTO SELECT 语句。这样可以避免手动指定字段列表，而是根据源表的字段进行映射。下面是一个使用 INSERT INTO SELECT 语句的示例：

sql INSERT INTO target_table (column1, column2, column3) SELECT column1, column2, column3 FROM source_table; 请根据您的具体需求和表结构进行适当的调整。如果问题仍然存在，请提供更详细的表结构、DDL 和插入语句，以便我能够给出更准确的帮助。

关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/446385?spm=a2c6h.14164896.0.0.169a63bf5w2htC

问题五：用flink sql 关联数据报错怎么解决？

我用flink sql 关联数据。出现了如下报错。有人遇到过么谢谢 a.sales_dept_name是string类型 p.second_province也是string类型

日志报错： 2020-04-24 16:35:14,873 INFO org.apache.flink.table.module.ModuleManager - Cannot find FunctionDefinition is not null from any loaded modules 2020-04-24 16:35:14,873 INFO org.apache.flink.table.module.ModuleManager - Cannot find FunctionDefinition current_timestamp from any loaded modules 2020-04-24 16:35:14,881 WARN org.apache.flink.table.client.cli.CliClient - Could not execute SQL statement. org.apache.flink.table.client.gateway.SqlExecutionException: Invalid SQL statement. at org.apache.flink.table.client.gateway.local.LocalExecutor.createTable(LocalExecutor.java:678) at org.apache.flink.table.client.gateway.local.LocalExecutor.executeQueryInternal(LocalExecutor.java:612) at org.apache.flink.table.client.gateway.local.LocalExecutor.executeQuery(LocalExecutor.java:477) at org.apache.flink.table.client.cli.CliClient.callSelect(CliClient.java:510) at org.apache.flink.table.client.cli.CliClient.callCommand(CliClient.java:295) at java.util.Optional.ifPresent(Optional.java:159) at org.apache.flink.table.client.cli.CliClient.open(CliClient.java:200) at org.apache.flink.table.client.SqlClient.openCli(SqlClient.java:125) at org.apache.flink.table.client.SqlClient.start(SqlClient.java:104) at org.apache.flink.table.client.SqlClient.main(SqlClient.java:178) Caused by: java.lang.RuntimeException: while converting a.sales_dept_name = p.second_province at org.apache.calcite.sql2rel.ReflectiveConvertletTable.lambdaregisterNodeTypeMethodregisterNodeTypeMethodregisterNodeTypeMethod0(ReflectiveConvertletTable.java:86) at org.apache.calcite.sql2rel.SqlNodeToRexConverterImpl.convertCall(SqlNodeToRexConverterImpl.java:63) at org.apache.calcite.sql2rel.SqlToRelConverterBlackboard.visit(SqlToRelConverter.java:4787)atorg.apache.calcite.sql2rel.SqlToRelConverterBlackboard.visit(SqlToRelConverter.java:4787)atorg.apache.calcite.sql2rel.SqlToRelConverterBlackboard.visit(SqlToRelConverter.java:4787) at org.apache.calcite.sql2rel.SqlToRelConverterBlackboard.visit(SqlToRelConverter.java:4092) at org.apache.calcite.sql.SqlCall.accept(SqlCall.java:139) at org.apache.calcite.sql2rel.SqlToRelConverterBlackboard.convertExpression(SqlToRelConverter.java:4656)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertJoinCondition(SqlToRelConverter.java:2708)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2100)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2083)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2083)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertSelectImpl(SqlToRelConverter.java:646)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertSelect(SqlToRelConverter.java:627)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertQueryRecursive(SqlToRelConverter.java:3181)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertQuery(SqlToRelConverter.java:563)atorg.apache.flink.table.planner.calcite.FlinkPlannerImpl.orgBlackboard.convertExpression(SqlToRelConverter.java:4656)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertJoinCondition(SqlToRelConverter.java:2708)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2100)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2083)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2083)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertSelectImpl(SqlToRelConverter.java:646)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertSelect(SqlToRelConverter.java:627)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertQueryRecursive(SqlToRelConverter.java:3181)atorg.apache.calcite.sql2rel.SqlToRelConverter.convertQuery(SqlToRelConverter.java:563)atorg.apache.flink.table.planner.calcite.FlinkPlannerImpl.orgBlackboard.convertExpression(SqlToRelConverter.java:4656) at org.apache.calcite.sql2rel.SqlToRelConverter.convertJoinCondition(SqlToRelConverter.java:2708) at org.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2100) at org.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2083) at org.apache.calcite.sql2rel.SqlToRelConverter.convertFrom(SqlToRelConverter.java:2083) at org.apache.calcite.sql2rel.SqlToRelConverter.convertSelectImpl(SqlToRelConverter.java:646) at org.apache.calcite.sql2rel.SqlToRelConverter.convertSelect(SqlToRelConverter.java:627) at org.apache.calcite.sql2rel.SqlToRelConverter.convertQueryRecursive(SqlToRelConverter.java:3181) at org.apache.calcite.sql2rel.SqlToRelConverter.convertQuery(SqlToRelConverter.java:563) at org.apache.flink.table.planner.calcite.FlinkPlannerImpl.orgapacheflinkflinkflinktableplannerplannerplannercalciteFlinkPlannerImplFlinkPlannerImplFlinkPlannerImplrel(FlinkPlannerImpl.scala:148)atorg.apache.flink.table.planner.calcite.FlinkPlannerImpl.rel(FlinkPlannerImpl.scala:135)atorg.apache.flink.table.planner.operations.SqlToOperationConverter.toQueryOperation(SqlToOperationConverter.java:522)atorg.apache.flink.table.planner.operations.SqlToOperationConverter.convertSqlQuery(SqlToOperationConverter.java:436)atorg.apache.flink.table.planner.operations.SqlToOperationConverter.convert(SqlToOperationConverter.java:154)atorg.apache.flink.table.planner.delegation.ParserImpl.parse(ParserImpl.java:66)atorg.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:464)atorg.apache.flink.table.client.gateway.local.LocalExecutor.lambdarel(FlinkPlannerImpl.scala:148)atorg.apache.flink.table.planner.calcite.FlinkPlannerImpl.rel(FlinkPlannerImpl.scala:135)atorg.apache.flink.table.planner.operations.SqlToOperationConverter.toQueryOperation(SqlToOperationConverter.java:522)atorg.apache.flink.table.planner.operations.SqlToOperationConverter.convertSqlQuery(SqlToOperationConverter.java:436)atorg.apache.flink.table.planner.operations.SqlToOperationConverter.convert(SqlToOperationConverter.java:154)atorg.apache.flink.table.planner.delegation.ParserImpl.parse(ParserImpl.java:66)atorg.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:464)atorg.apache.flink.table.client.gateway.local.LocalExecutor.lambdarel(FlinkPlannerImpl.scala:148) at org.apache.flink.table.planner.calcite.FlinkPlannerImpl.rel(FlinkPlannerImpl.scala:135) at org.apache.flink.table.planner.operations.SqlToOperationConverter.toQueryOperation(SqlToOperationConverter.java:522) at org.apache.flink.table.planner.operations.SqlToOperationConverter.convertSqlQuery(SqlToOperationConverter.java:436) at org.apache.flink.table.planner.operations.SqlToOperationConverter.convert(SqlToOperationConverter.java:154) at org.apache.flink.table.planner.delegation.ParserImpl.parse(ParserImpl.java:66) at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:464) at org.apache.flink.table.client.gateway.local.LocalExecutor.lambdacreateTable16(LocalExecutor.java:675)atorg.apache.flink.table.client.gateway.local.ExecutionContext.wrapClassLoader(ExecutionContext.java:231)atorg.apache.flink.table.client.gateway.local.LocalExecutor.createTable(LocalExecutor.java:675)...9moreCausedby:java.lang.reflect.InvocationTargetExceptionatsun.reflect.GeneratedMethodAccessor2.invoke(UnknownSource)atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)atjava.lang.reflect.Method.invoke(Method.java:498)atorg.apache.calcite.sql2rel.ReflectiveConvertletTable.lambda16(LocalExecutor.java:675)atorg.apache.flink.table.client.gateway.local.ExecutionContext.wrapClassLoader(ExecutionContext.java:231)atorg.apache.flink.table.client.gateway.local.LocalExecutor.createTable(LocalExecutor.java:675)...9moreCausedby:java.lang.reflect.InvocationTargetExceptionatsun.reflect.GeneratedMethodAccessor2.invoke(UnknownSource)atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)atjava.lang.reflect.Method.invoke(Method.java:498)atorg.apache.calcite.sql2rel.ReflectiveConvertletTable.lambda16(LocalExecutor.java:675) at org.apache.flink.table.client.gateway.local.ExecutionContext.wrapClassLoader(ExecutionContext.java:231) at org.apache.flink.table.client.gateway.local.LocalExecutor.createTable(LocalExecutor.java:675) ... 9 more Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.calcite.sql2rel.ReflectiveConvertletTable.lambdaregisterNodeTypeMethod0(ReflectiveConvertletTable.java:83)...32moreCausedby:java.lang.IndexOutOfBoundsException:Index:7,Size:7atjava.util.ArrayList.rangeCheck(ArrayList.java:653)atjava.util.ArrayList.get(ArrayList.java:429)atorg.apache.calcite.sql2rel.SqlToRelConverter0(ReflectiveConvertletTable.java:83)...32moreCausedby:java.lang.IndexOutOfBoundsException:Index:7,Size:7atjava.util.ArrayList.rangeCheck(ArrayList.java:653)atjava.util.ArrayList.get(ArrayList.java:429)atorg.apache.calcite.sql2rel.SqlToRelConverter0(ReflectiveConvertletTable.java:83) ... 32 more Caused by: java.lang.IndexOutOfBoundsException: Index: 7, Size: 7 at java.util.ArrayList.rangeCheck(ArrayList.java:653) at java.util.ArrayList.get(ArrayList.java:429) at org.apache.calcite.sql2rel.SqlToRelConverterLookupContext.findRel(SqlToRelConverter.java:5300) at org.apache.calcite.sql2rel.SqlToRelConverterBlackboard.lookup(SqlToRelConverter.java:4424)atorg.apache.calcite.sql2rel.SqlToRelConverterBlackboard.lookup(SqlToRelConverter.java:4424)atorg.apache.calcite.sql2rel.SqlToRelConverterBlackboard.lookup(SqlToRelConverter.java:4424) at org.apache.calcite.sql2rel.SqlToRelConverterBlackboard.lookupExp(SqlToRelConverter.java:4369) at org.apache.calcite.sql2rel.SqlToRelConverter.convertIdentifier(SqlToRelConverter.java:3720) at org.apache.calcite.sql2rel.SqlToRelConverter.access2200(SqlToRelConverter.java:217)atorg.apache.calcite.sql2rel.SqlToRelConverter2200(SqlToRelConverter.java:217)atorg.apache.calcite.sql2rel.SqlToRelConverter2200(SqlToRelConverter.java:217) at org.apache.calcite.sql2rel.SqlToRelConverterBlackboard.visit(SqlToRelConverter.java:4796) at org.apache.calcite.sql2rel.SqlToRelConverterBlackboard.visit(SqlToRelConverter.java:4092)atorg.apache.calcite.sql.SqlIdentifier.accept(SqlIdentifier.java:317)atorg.apache.calcite.sql2rel.SqlToRelConverterBlackboard.visit(SqlToRelConverter.java:4092)atorg.apache.calcite.sql.SqlIdentifier.accept(SqlIdentifier.java:317)atorg.apache.calcite.sql2rel.SqlToRelConverterBlackboard.visit(SqlToRelConverter.java:4092) at org.apache.calcite.sql.SqlIdentifier.accept(SqlIdentifier.java:317) at org.apache.calcite.sql2rel.SqlToRelConverterBlackboard.convertExpression(SqlToRelConverter.java:4656) at org.apache.calcite.sql2rel.StandardConvertletTable.convertExpressionList(StandardConvertletTable.java:793) at org.apache.calcite.sql2rel.StandardConvertletTable.convertCall(StandardConvertletTable.java:769) at org.apache.calcite.sql2rel.StandardConvertletTable.convertCall(StandardConvertletTable.java:756) ... 36 more*来自志愿者整理的FLINK邮件归档