开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

求问各位大佬:flink运行大量数据(自定义数据源)写入hudi和hive的作业运行一段时间后,?

求问各位大佬:flink运行大量数据(自定义数据源)写入hudi和hive的作业运行一段时间后,出现hive beeline客户端查询表报错:Unknown HS2 problem when communicating with Thrift server.
Error: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe (Write failed) (state=08S01,code=0),且beeline客户端也无法继续使用,只能重启hive HiveServer2和hive metastore的情况: WARN [main] jdbc.HiveConnection (HiveConnection.java:(237)) - Failed to connect to *:10000是什么原因呢?

展开
收起
cuicuicuic 2023-08-01 11:24:27 82 0
1 条回答
写回答
取消 提交回答
  • 这个问题的原因是 Thrift 服务在运行一段时间后会关闭,从而导致 Hive 无法访问表数据。

    解决方法是调整 Thrift 服务的超时时间,让 Thrift 服务在运行一段时间后仍然可以正常工作。

    具体方法如下:

    打开 Hive 的配置文件 hive-site.xml。
    找到以下配置项:


    hive.server2.thrift.client.socket.timeout
    60s

    修改 value 属性的值,将其设置为一个较大的值,例如 60s。
    保存 hive-site.xml 文件。
    重启 Hive 服务。
    这样就可以解决问题了。

    注意:如果调整 Thrift 服务的超时时间后,问题仍然无法解决,可以尝试重启 Hive 服务。

    2023-09-26 11:24:09
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载