sqoop-1.4.6 搭建
sqoop搭建环境: jdk1.8 hadoop分布式集群(HDFS) HIVE(看使用情况)
强烈建议: sqoop1.4.6版本 没有BUG
步骤:
1.解压包
2.配置sqoop环境变量 ,sqoop目录下的conf下 拷贝sqoop-env-template.sh 为 sqoop-env.sh
3.将mysql驱动包mysql-connector-java-5.1.40.jar 拷贝到sqoop/lib 目录下
4.修改sqoop配置 文件: sqoop-env.sh
export HADOOP_COMMON_HOME=/mydata/hadoop-2.7.4 export HADOOP_MAPRED_HOME=/mydata/hadoop-2.7.4 export HIVE_HOME=/mydata/hive-2.3.6 export ZOOCFGDIR=/mydata/zookeeper-3.4.5
5.将 hive-common-2.3.3.jar包拷贝到hive的lib目录下 (需要用到hive时拷贝)
6.把java-json.jar添加到…/sqoop/lib目录(解决NoClassDefFoundError: org/json/JSONObject报错)
7.配置sqoop环境变量 /etc/profile
#sqoop export SQOOP_HOME=/mydata/sqoop1.4.6 export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin
8.直接使用
==========================================================
安装sqoop的前提是已经具备java和hadoop的环境。
最新稳定版: 1.4.6
配置文件修改:
cd /export/server/sqoop/conf/ cp sqoop-env-template.sh sqoop-env.sh vim sqoop-env.sh export HADOOP_COMMON_HOME=/export/server/hadoop export HADOOP_MAPRED_HOME=/export/server/hadoop export HIVE_HOME=/export/server/hive
加入mysql的jdbc驱动包
cp /export/server/hive/lib/mysql-connector-java-8.0.19.jar /export/server/sqoop/lib/
验证启动
bin/sqoop list-databases \ --connect jdbc:mysql://node1:3306/ \ --username root --password 123456
本命令会列出所有mysql的数据库。
到这里,整个Sqoop安装工作完成。
Bug:
找不到或无法加载主类 org.apache.sqoop.sqoop
https://blog.csdn.net/wscrf/article/details/80201455