sqoop快速安装

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: sqoop快速安装

sqoop-1.4.6 搭建

sqoop搭建环境: jdk1.8 hadoop分布式集群(HDFS) HIVE(看使用情况)

下载网址:http://sqoop.apache.org/

强烈建议: sqoop1.4.6版本 没有BUG

步骤:

1.解压包

2.配置sqoop环境变量 ,sqoop目录下的conf下 拷贝sqoop-env-template.sh 为 sqoop-env.sh

3.将mysql驱动包mysql-connector-java-5.1.40.jar 拷贝到sqoop/lib 目录下

4.修改sqoop配置 文件: sqoop-env.sh

export HADOOP_COMMON_HOME=/mydata/hadoop-2.7.4
export HADOOP_MAPRED_HOME=/mydata/hadoop-2.7.4
export HIVE_HOME=/mydata/hive-2.3.6
export ZOOCFGDIR=/mydata/zookeeper-3.4.5

5.将 hive-common-2.3.3.jar包拷贝到hive的lib目录下 (需要用到hive时拷贝)

6.把java-json.jar添加到…/sqoop/lib目录(解决NoClassDefFoundError: org/json/JSONObject报错)

7.配置sqoop环境变量 /etc/profile

#sqoop
export SQOOP_HOME=/mydata/sqoop1.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin

8.直接使用

==========================================================

安装sqoop的前提是已经具备java和hadoop的环境。

最新稳定版: 1.4.6

配置文件修改:

cd /export/server/sqoop/conf/
cp sqoop-env-template.sh  sqoop-env.sh
vim sqoop-env.sh
export HADOOP_COMMON_HOME=/export/server/hadoop
export HADOOP_MAPRED_HOME=/export/server/hadoop
export HIVE_HOME=/export/server/hive

加入mysql的jdbc驱动包

cp /export/server/hive/lib/mysql-connector-java-8.0.19.jar /export/server/sqoop/lib/

验证启动

bin/sqoop list-databases \
 --connect jdbc:mysql://node1:3306/ \
 --username root --password 123456

本命令会列出所有mysql的数据库。

到这里,整个Sqoop安装工作完成。

Bug:

找不到或无法加载主类 org.apache.sqoop.sqoop

https://blog.csdn.net/wscrf/article/details/80201455


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
分布式计算 Java 关系型数据库
73 sqoop安装
73 sqoop安装
48 2
|
6月前
|
分布式计算 Hadoop 关系型数据库
Sqoop入门指南:安装和配置
Sqoop入门指南:安装和配置
|
存储 分布式计算 关系型数据库
大数据组件Sqoop-安装与验证
大数据组件Sqoop-安装与验证
137 0
|
SQL 分布式计算 Ubuntu
【大数据】Sqoop的安装及使用
【大数据】Sqoop的安装及使用
1077 0
|
SQL 分布式计算 关系型数据库
sqoop的安装和使用
sqoop的安装和使用
|
SQL 分布式计算 Oracle
Sqoop的安装与数据的导入导出
Sqoop的安装与数据的导入导出
140 0
|
SQL 分布式计算 Oracle
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
424 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
|
SQL 分布式计算 关系型数据库
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
|
SQL 资源调度 关系型数据库
数据迁移的工具Sqoop的安装与配置
数据迁移的工具Sqoop的安装与配置
134 0