sqoop快速安装

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: sqoop快速安装

sqoop-1.4.6 搭建

sqoop搭建环境: jdk1.8 hadoop分布式集群(HDFS) HIVE(看使用情况)

下载网址:http://sqoop.apache.org/

强烈建议: sqoop1.4.6版本 没有BUG

步骤:

1.解压包

2.配置sqoop环境变量 ,sqoop目录下的conf下 拷贝sqoop-env-template.sh 为 sqoop-env.sh

3.将mysql驱动包mysql-connector-java-5.1.40.jar 拷贝到sqoop/lib 目录下

4.修改sqoop配置 文件: sqoop-env.sh

export HADOOP_COMMON_HOME=/mydata/hadoop-2.7.4
export HADOOP_MAPRED_HOME=/mydata/hadoop-2.7.4
export HIVE_HOME=/mydata/hive-2.3.6
export ZOOCFGDIR=/mydata/zookeeper-3.4.5

5.将 hive-common-2.3.3.jar包拷贝到hive的lib目录下 (需要用到hive时拷贝)

6.把java-json.jar添加到…/sqoop/lib目录(解决NoClassDefFoundError: org/json/JSONObject报错)

7.配置sqoop环境变量 /etc/profile

#sqoop
export SQOOP_HOME=/mydata/sqoop1.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin

8.直接使用

==========================================================

安装sqoop的前提是已经具备java和hadoop的环境。

最新稳定版: 1.4.6

配置文件修改:

cd /export/server/sqoop/conf/
cp sqoop-env-template.sh  sqoop-env.sh
vim sqoop-env.sh
export HADOOP_COMMON_HOME=/export/server/hadoop
export HADOOP_MAPRED_HOME=/export/server/hadoop
export HIVE_HOME=/export/server/hive

加入mysql的jdbc驱动包

cp /export/server/hive/lib/mysql-connector-java-8.0.19.jar /export/server/sqoop/lib/

验证启动

bin/sqoop list-databases \
 --connect jdbc:mysql://node1:3306/ \
 --username root --password 123456

本命令会列出所有mysql的数据库。

到这里,整个Sqoop安装工作完成。

Bug:

找不到或无法加载主类 org.apache.sqoop.sqoop

https://blog.csdn.net/wscrf/article/details/80201455


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
分布式计算 Java 关系型数据库
73 sqoop安装
73 sqoop安装
143 2
|
分布式计算 Hadoop 关系型数据库
Sqoop入门指南:安装和配置
Sqoop入门指南:安装和配置
|
存储 分布式计算 关系型数据库
大数据组件Sqoop-安装与验证
大数据组件Sqoop-安装与验证
331 0
|
SQL 分布式计算 Ubuntu
【大数据】Sqoop的安装及使用
【大数据】Sqoop的安装及使用
1885 0
|
SQL 分布式计算 关系型数据库
sqoop的安装和使用
sqoop的安装和使用
|
SQL 分布式计算 Oracle
Sqoop的安装与数据的导入导出
Sqoop的安装与数据的导入导出
301 0
|
SQL 分布式计算 Oracle
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
628 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
|
SQL 分布式计算 关系型数据库
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
|
SQL 资源调度 关系型数据库
数据迁移的工具Sqoop的安装与配置
数据迁移的工具Sqoop的安装与配置
304 0

热门文章

最新文章