开发者社区> 异步社区> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.6 安装Sqoop

简介:
+关注继续查看

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.6节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.6 安装Sqoop

Sqoop是一个开源工具,它允许用户将数据从关系型数据库抽取到Hadoop中,用于进一步的处理。抽取出的数据可以被MapReduce作业使用,也可以被其他类似于Hive的工具使用。一旦形成分析结果,Sqoop便可以将这些结果导回数据库,供其他客户端使用。

Sqoop的版本同样选择CDH5,完整的版本号为sqoop-1.4.5-cdh5.6.0,安装Sqoop的步骤非常简单,主要就是修改配置文件,并且Sqoop和Hive作为Hadoop的客户端,也只有一种运行方式,Sqoop可以被安装至集群任意一个节点(以主节点为例)。

将Sqoop安装包上传到/opt文件夹下,执行命令(hadoop用户,主节点执行):

tar -zxvf /opt/sqoop-1.4.5-cdh5.6.0.tar.gz

Sqoop的配置文件同样存放在/opt/sqoop-1.4.5-cdh5.6.0/conf目录下,但是安装过程中并不需要修改配置文件。我们需要修改/opt/sqoop-1.4.5-cdh5.6.0/bin目录下的configure-sqoop文件(hadoop用户执行),将其中关于Zookeep和HBase的行都注释掉,除非集群已经安装了Zookeeper和HBase。

例如:

…
#if [ -z "${HBASE_HOME}" ]; then
# HBASE_HOME=/usr/lib/hbase
#fi
…
## Moved to be a runtime check in sqoop.
#if [ ! -d "${HBASE_HOME}" ]; then
# echo "Warning: $HBASE_HOME does not exist! HBase imports will fail."
# echo 'Please set $HBASE_HOME to the root of your HBase installation.'
#fi
...

全部注释掉即可。

最后修改环境变量(root用户,主节点执行),在/etc/profile文件末尾追加:

export SQOOP_HOME=/opt/sqoop-1.4.5-cdh5.6.0
export PATH=$PATH:$SQOOP_HOME/bin

追加后执行命令使环境变量立即生效:

source /etc/profile

验证安装是否成功的方式很简单,执行命令(以hadoop用户在主节点执行):

sqoop list-databases --connect jdbc:mysql://master:3306/ --username root

执行完成后,屏幕上会显示MySQL数据库中的所有数据库实例,例如在上一节新建的数据库Hive。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
史上最快! 10小时大数据入门实战(六)- Hadoop 项目实战
1 用户行为日志概述 离线数据处理架构 3 项目需求 4 UserAgent 类实现 使用工具框架 ...
965 0
+关注
异步社区
异步社区(www.epubit.com)是人民邮电出版社旗下IT专业图书旗舰社区,也是国内领先的IT专业图书社区,致力于优质学习内容的出版和分享,实现了纸书电子书的同步上架,于2015年8月上线运营。公众号【异步图书】,每日赠送异步新书。
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Why is my Hadoop* job slow
立即下载
Hadoop存储与计算分离实践
立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \"
立即下载