20180611早课记录28-Sqoop

简介: 今天来讲Sqoop

1.sqoop是什么?


主要用于在Hadoop与RDBMS间进行数据的传递


2.sqoop分为哪两个分支,各最新版本是什么?


sqoop1:1.4.7

sqoop2:1.99.7


3.在工作中我们用的最多的是sqoop1,那么导入和导出,谁给谁的


导入是RDBMS到Hadoop

导出是Hadoop到RDBMS


4.假如输入一个命令找不到not found,你们觉得该怎么办?(老生常谈)


先看打错了没有,再看PATH有没有,或者yum安装


5.sqoop命令参数-m是什么意思


指定MapReduce的数量


6.sqoop 想要把MySQL数据导到hive里,那么是不是要加mysql jdbc jar包?


需要


7.sqoop导入,我能不能直接写SQL的导?


可以 --query指定


8.sqoop会有reduce job吗


不会


9.假如让你们项目作业的sqoop 每天导数据到hive分区表里,用shell脚本和crontab,有没有信心完成?


还要练习

目录
相关文章
|
6月前
|
关系型数据库 MySQL 流计算
Flink CDC 3.0中,如果你想在同步MySQL数据时排除某列
Flink CDC 3.0中,如果你想在同步MySQL数据时排除某列
180 1
|
SQL HIVE
49 Hive修改表
49 Hive修改表
34 0
49 Hive修改表
|
3月前
|
SQL 存储 监控
Hive 插入大量数据
【8月更文挑战第15天】
|
SQL 存储 分布式计算
Hive命令使用记录
Hive命令使用记录
101 0
Hive命令使用记录
|
SQL 分布式计算 监控
使用Flume监控文件并导入到HIVE表中
使用Flume监控文件并导入到HIVE表中
|
SQL 关系型数据库 MySQL
HIVE HDFS 同步到MYSQL里,在HIVE里存为目录的分区键的如何同步呢?
请教下 ,HIVE HDFS 同步到MYSQL的时候,如果在源端HIVE里是分区表,分区字段要这么同步到目标端MYSQL呢
162 1
HIVE HDFS 同步到MYSQL里,在HIVE里存为目录的分区键的如何同步呢?
|
SQL 分布式计算 Hadoop
使用Sqoop导出Mysql数据到Hive(实战案例)
使用Sqoop导出Mysql数据到Hive(实战案例)
607 0
使用Sqoop导出Mysql数据到Hive(实战案例)
|
SQL 存储 关系型数据库
|
SQL 存储 分布式计算
【Hive】(二十二)往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解
【Hive】(二十二)往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解
1121 0
|
存储 SQL 分布式计算