sqoop快速安装

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: sqoop快速安装

sqoop-1.4.6 搭建

sqoop搭建环境: jdk1.8 hadoop分布式集群(HDFS) HIVE(看使用情况)

下载网址:http://sqoop.apache.org/

强烈建议: sqoop1.4.6版本 没有BUG

步骤:

1.解压包

2.配置sqoop环境变量 ,sqoop目录下的conf下 拷贝sqoop-env-template.sh 为 sqoop-env.sh

3.将mysql驱动包mysql-connector-java-5.1.40.jar 拷贝到sqoop/lib 目录下

4.修改sqoop配置 文件: sqoop-env.sh

export HADOOP_COMMON_HOME=/mydata/hadoop-2.7.4
export HADOOP_MAPRED_HOME=/mydata/hadoop-2.7.4
export HIVE_HOME=/mydata/hive-2.3.6
export ZOOCFGDIR=/mydata/zookeeper-3.4.5

5.将 hive-common-2.3.3.jar包拷贝到hive的lib目录下 (需要用到hive时拷贝)

6.把java-json.jar添加到…/sqoop/lib目录(解决NoClassDefFoundError: org/json/JSONObject报错)

7.配置sqoop环境变量 /etc/profile

#sqoop
export SQOOP_HOME=/mydata/sqoop1.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin

8.直接使用

==========================================================

安装sqoop的前提是已经具备java和hadoop的环境。

最新稳定版: 1.4.6

配置文件修改:

cd /export/server/sqoop/conf/
cp sqoop-env-template.sh  sqoop-env.sh
vim sqoop-env.sh
export HADOOP_COMMON_HOME=/export/server/hadoop
export HADOOP_MAPRED_HOME=/export/server/hadoop
export HIVE_HOME=/export/server/hive

加入mysql的jdbc驱动包

cp /export/server/hive/lib/mysql-connector-java-8.0.19.jar /export/server/sqoop/lib/

验证启动

bin/sqoop list-databases \
 --connect jdbc:mysql://node1:3306/ \
 --username root --password 123456

本命令会列出所有mysql的数据库。

到这里,整个Sqoop安装工作完成。

Bug:

找不到或无法加载主类 org.apache.sqoop.sqoop

https://blog.csdn.net/wscrf/article/details/80201455


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
分布式计算 Java 关系型数据库
73 sqoop安装
73 sqoop安装
103 2
|
分布式计算 Hadoop 关系型数据库
Sqoop入门指南:安装和配置
Sqoop入门指南:安装和配置
|
存储 分布式计算 关系型数据库
大数据组件Sqoop-安装与验证
大数据组件Sqoop-安装与验证
243 0
|
SQL 分布式计算 Ubuntu
【大数据】Sqoop的安装及使用
【大数据】Sqoop的安装及使用
1716 0
|
SQL 分布式计算 关系型数据库
sqoop的安装和使用
sqoop的安装和使用
|
SQL 分布式计算 Oracle
Sqoop的安装与数据的导入导出
Sqoop的安装与数据的导入导出
262 0
|
SQL 分布式计算 Oracle
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
546 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
|
SQL 分布式计算 关系型数据库
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
|
SQL 资源调度 关系型数据库
数据迁移的工具Sqoop的安装与配置
数据迁移的工具Sqoop的安装与配置
223 0

热门文章

最新文章