Flink.11.2操作hive时,对hive的版本支持是怎样的
看官网介绍是支持1.0、1.1、1.2、2.0、2.1、2.2、2.3、3.1 我的执行环境:
Flink : 1.11.2 Haoop : 2.6.0-cdh5.8.3 Hive : 1.1.0-cdh5.8.3 Job运行方式 : on yarn
同时对读写hive的demo,我不知道我写的是否正确:
public static void main(String[] args) throws Exception {
EnvironmentSettings settings = EnvironmentSettings .newInstance() .useBlinkPlanner() .inBatchMode() .build();
TableEnvironment tableEnv = TableEnvironment.create(settings);
String name = "myhive"; String defaultDatabase = "datafeed"; String hiveConfDir = "/opt/app/bigdata/hive-1.1.0-cdh5.8.3/conf"; // hive-site.xml路径 String version = "1.1.0-cdh5.8.3";
HiveCatalog hive = new HiveCatalog(name, defaultDatabase, hiveConfDir, version);
tableEnv.registerCatalog("myhive", hive); tableEnv.useCatalog("myhive"); String createDbSql = "INSERT INTO TABLE flink2hive_test VALUES ('55', "333", "CHN")"; tableEnv.sqlUpdate(createDbSql); }
这样的job提交到yarn会报错:
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapreduce.TaskAttemptContext
是缺少MapReduce的相关包吗?*来自志愿者整理的flink邮件归档
嗨。提供一个解决的思路
1.缺包
2在yarn 的环境下缺包,可以把缺的包 放在集群统一的位置,在提交命令时,指名所在包的位置。*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。