开发者社区> 白头雁> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Sqoop安装

简介: Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。 其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。
+关注继续查看

Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。
其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。
这篇文章记录了配置sqoop的步骤。在实验过程中,遇到了一些ERROR,反复百度也没有找到解决方法。最后,把sqoop安装文件夹删除,wget原始文件,重头配置了一遍,一切都OK了。还是“重装”最好用。

一、下载sqoop 1.4.7

如图,下载地址很好找。本文还是用sqoop1。



下载页面下有两个链接,使用sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,包含hadoop支持。不要用sqoop-1.4.7.tar.gz。


二、下载mysql-connector-java

到mysql官网查找mysql-connector/j,下载mysql服务器对应版本5.1.x,platform independent版。



解压之后,拷贝一下两个文件到sqoop安装目录lib.


三、修改配置

添加环境变量

export SQOOP_HOME="/opt/sqoop"
export PATH=$SQOOP_HOME/bin:$PATH

主要配置文件sqoop/config/sqoop-env.sh,设置hadoop路径。

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/hadoop-2.7.3

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/hadoop-2.7.3

四、测试

bin/sqoop-list-databases --connect jdbc:mysql://mysql1:3306 --username shell --password 123456

Please set HCAT_HOME to the root of your HCatalog installation. Warning: /opt/sqoop/../accumulo does not exist! Accumulo imports will fail. Please setACCUMULO_HOME to the root of your Accumulo installation.
18/09/05 09:01:47 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
18/09/05 09:01:47 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
18/09/05 09:01:47 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
information_schema

Alibaba
db
hadooptrain
metastore
mysql
performance_schema
test

测试成功!

五、总结

第一次安装之后出现问题,各种百度,各种试,最后按标准流程做了一遍,测试通过。
总结这种方法,仔细读手册,掌握官方jar下载路径。

NoClassDefFoundError: org/apache/avro/LogicalType

这个问题出现了,没有解决,希望再遇到的同学和我一样,按官方jar下载重装解决。

我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
[Sqoop]Sqoop使用
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53163460 Sqoop的本质还是一个命令行工具,和HDFS,MapReduce相比,并没有什么高深的理论。
960 0
lnmp 安装
lnmp  安装     32.lnmp 安装(Linux+Apache+MySQL+PHP) 32.1 apache 安装 wget http://mirrors.hust.edu.
712 0
Sqoop简介及安装部署
Apache Sqoop是专为Apache Hadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导入到Hadoop分布式文件系统或相关系统如Hive和HBase。相反,Sqoop可以用来从Hadoop的数据提取和导出到外部结构化数据存储如关系数据库和企业数据仓库。 Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。
0 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载