开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬们有见过flink 1.17.0写hive报错hdfs路劲不存在的问题吗,多跑几次就可以成功?

问题1:大佬们有见过flink 1.17.0写hive报错hdfs路劲不存在的问题吗,多跑几次就可以成功?image.png SYNC 问题2:不会有其他作业操作这个表

展开
收起
真的很搞笑 2023-06-05 18:44:13 819 0
1 条回答
写回答
取消 提交回答
  • 回答1:table.dml-sync 的模式是什么?设置为 true 了吗?按理说不应该..有其他作业可能会删这个path吗?是通过sql client 提交的吗?提交作业后,作业结束前,你有主动退出 sql client 吗
    回答2:https://github.com/apache/flink/blob/cc552f970e2673f2895ca3c73a8150cdf720915a/flink-connectors/flink-connector-hive/src/main/java/org/apache/flink/connectors/hive/HiveTableSink.java#L792感觉有可能是jar 的 client 退出后就把这个 staging 目录给删了,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-06-05 19:08:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Hive Bucketing in Apache Spark 立即下载
    spark替代HIVE实现ETL作业 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载