开发者社区> 问答> 正文

application模式提交操作hive的任务相关疑问

大家好: 我现在有一个flink的程序要读写hive的数据,在程序中构造HiveCatalog的时候需要有一个hiveConfDir,如果我使用的是新的application模式去提交任务,这个任务的解析应该是放到了master端,这个时候hadoop集群上没有hive的相关配置,那么这个hiveConfDir该怎么配置呢?*来自志愿者整理的flink邮件归档

展开
收起
小阿怪 2021-12-07 10:15:39 928 0
1 条回答
写回答
取消 提交回答
  • 可以使用-Dyarn.ship-directories=/path/of/hiveConfDir把hive的配置ship到JobManager端,hiveConfDir默认会在 当前目录下,同时这个目录也会自动加入到classpath,不太清楚这样是否可以让hive正常加载到*来自志愿者整理的flink邮件归档

    2021-12-07 11:38:16
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

相关实验场景

更多