开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks突然无法访问hive怎么办?

dataworks突然无法访问hive怎么办?image.png
failed: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe (Write failed)

展开
收起
真的很搞笑 2023-10-17 10:44:33 84 0
3 条回答
写回答
取消 提交回答
  • 1)右上角 绑定引擎重新初始化下资源组 还能成功吗
    2)“DATAWORKS_SESSION_DISABLE”:false 任务右侧 高级设置关闭下session复用 再看下完整的报错日志,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-18 17:52:04
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    DataWorks无法访问Hive时,出现的错误提示为:failed: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe (Write failed)。这个错误通常是由于网络连接问题或数据传输过程中出现了问题导致的。

    以下是一些可能的解决方案:

    1. 检查网络连接:确保DataWorks与Hive服务器之间的网络连接正常,并且可以互相通信。可以尝试使用ping命令测试网络连通性。

    2. 检查Hive服务是否正常运行:如果Hive服务未启动或崩溃,DataWorks将无法访问它。请确保Hive服务正在运行并且没有问题。

    3. 检查权限设置:如果您使用的是Kerberos认证,需要确保HiveServer2与metastore的principal一致。同时,也需要验证DataWorks是否有权访问Hive服务器和相关数据库。

    4. 检查Hive元数据:目前HDFS Reader不支持对Hive元数据的数据库进行访问查询,所以如果Hive元数据存储存在问题,也有可能导致DataWorks无法正常访问。

    5. 如果问题依旧存在,您可以尝试在DataWorks控制台重新创建一个数据集,选择Hive数据源,并选择需要同步的Hive表。

    2023-10-17 14:23:36
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个错误通常是由于Hive服务器与DataWorks之间的网络连接出现问题导致的。以下是一些可能的解决方法:

    1. 检查Hive服务器和DataWorks服务器之间的网络连接是否正常。你可以尝试使用ping命令测试两台服务器之间的网络连通性。
    2. 检查Hive服务器的防火墙设置是否正确。如果你的Hive服务器运行在防火墙后面,你需要确保防火墙允许DataWorks访问Hive服务器的端口(默认为10000)。
    3. 检查Hive服务器的资源使用情况。如果Hive服务器的CPU或内存使用率过高,可能会导致网络连接问题。你可以使用top命令检查Hive服务器的资源使用情况,并尝试关闭一些不必要的进程。
    4. 尝试重启Hive服务器和DataWorks服务器。有时候,简单的重启就可以解决网络连接问题。
    5. 如果上述方法都无法解决问题,你可以尝试联系Hive服务器的管理员,寻求他们的帮助。
    2023-10-17 13:38:55
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载