开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink-sql-gateway 提交任务执行经常报这个错误,重跑又没问题了。请问下这个是啥原因?

flink-sql-gateway 提交任务执行经常报这个错误,重跑又没问题了。请问下这个是啥原因com.google.common.util.concurrent.TrustedListenableFutureTask$TrustedFutureInterruptibleTask.runInterruptibly(TrustedListenableFutureTask.java:131) at com.google.common.util.concurrent.InterruptibleTask.run(InterruptibleTask.java:74) at com.google.common.util.concurrent.TrustedListenableFutureTask.run(TrustedListenableFutureTask.java:82) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) Suppressed: java.sql.SQLException: org.apache.thrift.transport.TTransportException: Cannot write to null outputStream at org.apache.hive.jdbc.HiveStatement.closeClientOperation(HiveStatement.java:214) at org.apache.hive.jdbc.HiveStatement.close(HiveStatement.java:231) at com.zaxxer.hikari.pool.ProxyStatement.close(ProxyStatement.java:75) at org.apache.dolphinscheduler.plugin.task.sql.SqlTask.executeUpdate(SqlTask.java:345) ... 11 common frames omitted?webui界面看是任务cancel了

展开
收起
cuicuicuic 2023-07-03 15:00:50 106 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    个错误是由于 com.google.common.util.concurrent.TrustedListenableFutureTask$TrustedFutureInterruptibleTask.runInterruptibly() 方法被中断引起的。该方法是 Google Guava 库中的一个并发工具类的实现,用于支持可信的异步任务执行和中断处理。

    根据您的描述,这个错误是在 Flink SQL Gateway 中提交任务执行时出现的,但是重跑时又没有问题。这可能是由于提交任务时出现了一些不可预测的异常或者网络问题,导致任务执行失败。当您重跑任务时,可能是因为这些问题已经得到了解决,或者是因为 Flink 自身的故障恢复机制起作用了,导致任务能够正常执行。

    为了进一步分析这个问题,建议您检查 Flink SQL Gateway 的日志和异常信息,以确定出现该错误的具体原因。您还可以尝试重现该问题,并收集相关的日志和异常信息,以便更好地定位和解决问题。

    2023-07-30 09:39:52
    赞同 展开评论 打赏
  • 根据你提供的信息,你在使用 Flink SQL Gateway 提交任务执行时经常遇到错误,但重新运行任务后又没有问题。并且错误信息中包含了 java.sql.SQLException 和 org.apache.thrift.transport.TTransportException 异常。

    这种情况下,可能有以下几个原因导致了该错误:

    1. 网络或连接问题:org.apache.thrift.transport.TTransportException 可能表示在与远程服务进行通信时出现了问题,例如网络连接不稳定、超时等。这可能会导致任务提交失败。重新运行任务时,可能网络或连接问题已经解决,所以没有报错。

    2. 资源竞争:如果同时有多个任务或用户尝试通过 Flink SQL Gateway 提交任务,可能会导致资源竞争和冲突,从而导致某些任务提交失败。重新运行任务时,可能竞争已经解决,所以没有报错。

    3. 任务取消:你提到 Web UI 界面显示任务被取消(canceled),这可能是由于手动或自动取消操作导致的。在任务被取消后尝试重新运行任务时,可能由于取消操作已经撤销或其他原因,任务可以再次成功执行。

    针对这个问题,建议你检查网络连接是否稳定,确保资源分配合理,并且留意是否有其他操作干扰了任务的提交和执行。如果问题持续存在,可以尝试查看更详细的日志信息,以了解更多关于任务提交和执行过程中的异常情况。

    另外,Flink SQL Gateway 也在不断更新和改进中,所以确保使用的是最新版本,可能也有助于解决

    2023-07-30 09:38:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server 2017 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载