sqoop2安装配置

简介:

一、下载编译好的压缩包

wget http://mirror.bit.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6-bin-hadoop200.tar.gz


二、解压缩到/usr/local下

tar -zxf sqoop-1.99.6-bin-hadoop200.tar.gz -C /usr/local


三、修改配置文件

vi /usr/local/sqoop-1.99.6-bin-hadoop200/server/conf/catalina.properties


修改common.loader中的hadoop的jar包路径为自己机器jar包的路径,我的路径修改后

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/common/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/common/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/hdfs/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/mapreduce/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/yarn/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/yarn/lib/*.jar,/usr/lib/hive/lib/*.jar

另外如果安装了hive 修改hive的路径


四、配置环境变量

vi /etc/profile添加

PATH=$PATH:/usr/local/sqoop-1.99.6-bin-hadoop200/bin/


使生效

source /etc/profile


五、修改server配置文件

vi /usr/local/sqoop-1.99.6-bin-hadoop200/server/conf/sqoop.properties

修改下面的选择为mapreduce的配置文件路径(根据自己机器的路径配置)

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop-2.7.1/etc/hadoop


六、复制相关jdbc驱动jar包到/usr/local/sqoop-1.99.6-bin-hadoop200/server/lib目录下

没有lib目录自己可以创建,我要导mysql的数据,所以把mysql的jdbc包考到了lib目录下


七、启动server

sqoop2-server start

八、验证配置是否正确

必须先启动sqoop,

再执行

sqoop2-tool verify

如果没有报错,出现

Verification was successful.

Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly

代表配置成功



停止 sqoop2-server stop


九、启动client

sqoop2-shell










本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1713042,如需转载请自行联系原作者
目录
相关文章
|
分布式计算 Java 关系型数据库
73 sqoop安装
73 sqoop安装
56 2
|
8月前
|
分布式计算 Hadoop Java
Hbase2.2.2在线安装配置(对应Hadoop 3.1.3)
Hbase2.2.2在线安装配置(对应Hadoop 3.1.3)
139 2
|
8月前
|
SQL 分布式计算 关系型数据库
sqoop快速安装
sqoop快速安装
74 0
|
SQL 分布式计算 关系型数据库
sqoop的安装和使用
sqoop的安装和使用
|
存储 分布式计算 资源调度
环境篇之 hadoop 安装配置|学习笔记
快速学习环境篇之 hadoop 安装配置
176 0
|
SQL 分布式计算 资源调度
Sqoop1的安装配置及入门案例
Sqoop1的安装配置及入门案例
192 0
Sqoop1的安装配置及入门案例
|
SQL 分布式计算 Oracle
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
442 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
|
存储 SQL 分布式计算
Sqoop简介及安装部署
Apache Sqoop是专为Apache Hadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导入到Hadoop分布式文件系统或相关系统如Hive和HBase。相反,Sqoop可以用来从Hadoop的数据提取和导出到外部结构化数据存储如关系数据库和企业数据仓库。 Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。
247 0
|
分布式计算 Hadoop 关系型数据库
Sqoop 安装
简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 环境说明 Centos 7服务器 服务当前用户 hadoop(此用户有管理员权限) Sqoop当前版本1.99.7 风
2058 0
|
分布式计算 大数据 关系型数据库
Sqoop安装
Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。 其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。
1809 0

相关实验场景

更多