sqoop导入hive表报错Could not load org.apache.?报错-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

sqoop导入hive表报错Could not load org.apache.?报错

2020-06-08 20:12:08 388 1

软件运行环境:redhat 6

hadoop-2.6.0-cdh5.9.0

hive-1.1.0-cdh5.9.0

sqoop-1.4.6-cdh5.9.0 

hive在主节点,sqoop在从节点上

sqoop导入hive表示报错

16/12/09 17:18:47 INFO mapreduce.ImportJobBase: Transferred 49 bytes in 19.624 seconds (2.4969 bytes/sec)
16/12/09 17:18:47 INFO mapreduce.ImportJobBase: Retrieved 6 records.
16/12/09 17:18:47 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `sss` AS t LIMIT 1
16/12/09 17:18:47 INFO hive.HiveImport: Loading uploaded data into Hive
16/12/09 17:18:47 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
16/12/09 17:18:47 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
        at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)
        at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
        at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
        at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
        at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:524)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:615)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:190)
        at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:44)
        ... 12 more



我的hive能正常启动,


网上说的环境变量的问题也配置了,还有什么问题可以去检查

export HIVE_HOME=/home/hadoop/hive-1.1.0-cdh5.9.0
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0-cdh5.9.0
export HIVE_CONF_DIR=/home/hadoop/hive-1.1.0-cdh5.9.0/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*



取消 提交回答
全部回答(1)
  • 爱吃鱼的程序员
    2020-06-08 20:12:23

    定义用户变量 不是系统变量  (用户目录下)

    sudovim~/.bash_profile 

    exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:/cloud/hive-1.1.0-cdh5.10.0/lib/*

    source~/.bash_profile

     

    sqoop导入hive表报错Couldnotloadorg.apache.hadoop.hive.conf.HiveConf.MakesureHIVE_CONF_DIRissetcorrectly 

    方法1:

    往~/.bash_profile里新加一行
    exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
    然后,source~/.bash_profile

    cphive/lib/hive-common-3.0.0.jarsqoop/lib/   

    @yangchangjiang的答案有用,可惜积分不够顶不上去。

    0 0
相关问答

1

回答

大家有做过oracle 同步数据到 hive 吗? 用什么工具比较好?

2022-08-17 14:35:34 46浏览量 回答数 1

1

回答

介绍一下Apache Hive & Tez工具?

2022-05-12 11:42:37 153浏览量 回答数 1

1

回答

Flink SQL>查询的hive表数据全L部为NUL

2021-12-08 11:27:49 509浏览量 回答数 1

1

回答

FlinkSQL写hive orc表开启compact,任务异常重启,compact不生效?

2021-12-07 16:47:59 513浏览量 回答数 1

1

回答

kafka流与hive表join问题

2021-12-07 22:03:47 322浏览量 回答数 1

1

回答

sqoop导入到hive表中报错?报错

2020-06-22 13:34:05 495浏览量 回答数 1

1

回答

在Postgresql中模拟MySQL的ORDER BY FIELD()

2020-05-11 16:44:56 278浏览量 回答数 1

0

回答

【漏洞公告】CVE-2017-5645:Apache Log4j反序列化漏洞

2017-04-18 13:47:44 5087浏览量 回答数 0

1

回答

如何用Native C在Darwin下列出当前所有网络接口卡以及Mac地址?

2016-06-02 20:51:31 1738浏览量 回答数 1

1

回答

如何用Native C在Darwin下列出当前所有网络接口卡以及Mac地址?

2016-03-26 13:41:20 1626浏览量 回答数 1
+关注
爱吃鱼的程序员
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB
2
文章
21564
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载