ERROR tool.ExportTool: Error during export: Export job failed!
问题
sqoop导出数据的时候遇到问题,ERROR tool.ExportTool: Error during export: Export job failed
思路
sqoop的shell命令是这样的
sqoop export –connect jdbc:mysql://cdh00:3306/airquality –username root –password root –table co –export-dir hdfs://cdh01:8020/user/hive/warehouse/co –input-fields-terminated-by ‘\001’ \
这里的错误就是经典的hive和mysql的表结构不对应,有可能你的实际情况和我不一样,但是按照这个思路去检查会很轻松找到你的问题根源。
这个问题是sqoop把你的数据往mysql中塞的时候格式不符,他就会返回这个错误。处理方式首先就应该检查两个表结构是否一致。
hive表结构查询
desc [表名];
在检查后我发现两个表结构是完全一致的,也有可能是hive的分隔符弄错了(–input-fields-terminated-by ‘\001’),检查后也没有问题,hive中确实使用默认的’\001’作为分隔符,那为什么会报错嘞?
除了hive表结构之外,我们再检查一下hive的数据,在hdfs/user/hive/warehouse/co中,可以在linux中hadoop fs -cat /user/hive/warehouse/co查看,为了方便我这里选择在windows中下载查看。
数据节选
201501122002A\N2.105
//我的数据除了前两条是string,后面都是double类型。
可以看到分隔符确实是"\001",但是double数据中有一个突兀的"\N"。原来是因为hive中的null值默认是按照字符串"\N"存储的,所以在获取数据时出现字符串"\N",而"\N"是字符串格式不符合double类型导致报错。
这里有两种处理方法,一种是将表结构统一改成varchar类型,但是这样"\N"就按照字符串存入了,不方便处理。所以加上两条参数–input-null-string和–input-null-non-string,在sqoop遇到"\N"后按照null进行插入处理。
修改后的sqoop命令
sqoop export –connect jdbc:mysql://cdh00:3306/airquality –username root –password root –table co –export-dir hdfs://cdh01:8020/user/hive/warehouse/co –input-fields-terminated-by ‘\001’ –input-null-string ‘\N’ –input-null-non-string ‘\N’
方案
网上的思路是对的,我检查表结构,发现一致,就只有字段长度问题了,全部扩充至255后,成功运行!