sqoop2安装配置

简介:

一、下载编译好的压缩包

wget http://mirror.bit.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6-bin-hadoop200.tar.gz


二、解压缩到/usr/local下

tar -zxf sqoop-1.99.6-bin-hadoop200.tar.gz -C /usr/local


三、修改配置文件

vi /usr/local/sqoop-1.99.6-bin-hadoop200/server/conf/catalina.properties


修改common.loader中的hadoop的jar包路径为自己机器jar包的路径,我的路径修改后

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/common/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/common/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/hdfs/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/mapreduce/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/yarn/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/yarn/lib/*.jar,/usr/lib/hive/lib/*.jar

另外如果安装了hive 修改hive的路径


四、配置环境变量

vi /etc/profile添加

PATH=$PATH:/usr/local/sqoop-1.99.6-bin-hadoop200/bin/


使生效

source /etc/profile


五、修改server配置文件

vi /usr/local/sqoop-1.99.6-bin-hadoop200/server/conf/sqoop.properties

修改下面的选择为mapreduce的配置文件路径(根据自己机器的路径配置)

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop-2.7.1/etc/hadoop


六、复制相关jdbc驱动jar包到/usr/local/sqoop-1.99.6-bin-hadoop200/server/lib目录下

没有lib目录自己可以创建,我要导mysql的数据,所以把mysql的jdbc包考到了lib目录下


七、启动server

sqoop2-server start

八、验证配置是否正确

必须先启动sqoop,

再执行

sqoop2-tool verify

如果没有报错,出现

Verification was successful.

Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly

代表配置成功



停止 sqoop2-server stop


九、启动client

sqoop2-shell










本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1713042,如需转载请自行联系原作者
目录
相关文章
|
6月前
|
分布式计算 Java 关系型数据库
73 sqoop安装
73 sqoop安装
30 2
|
4月前
|
分布式计算 Hadoop 关系型数据库
Sqoop入门指南:安装和配置
Sqoop入门指南:安装和配置
|
5月前
|
SQL 分布式计算 关系型数据库
sqoop快速安装
sqoop快速安装
24 0
|
12月前
|
SQL 分布式计算 关系型数据库
sqoop的安装和使用
sqoop的安装和使用
|
12月前
|
SQL 分布式计算 Java
Hive环境安装
Hive环境安装
116 0
|
SQL 分布式计算 资源调度
Sqoop1的安装配置及入门案例
Sqoop1的安装配置及入门案例
159 0
Sqoop1的安装配置及入门案例
|
SQL 分布式计算 Oracle
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
324 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
|
分布式计算 大数据 关系型数据库
Sqoop安装
Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。 其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。
1772 0
|
分布式计算 关系型数据库 Hadoop
|
分布式计算 Hadoop Shell