20180611早课记录28-Sqoop

简介: 今天来讲Sqoop

1.sqoop是什么?


主要用于在Hadoop与RDBMS间进行数据的传递


2.sqoop分为哪两个分支,各最新版本是什么?


sqoop1:1.4.7

sqoop2:1.99.7


3.在工作中我们用的最多的是sqoop1,那么导入和导出,谁给谁的


导入是RDBMS到Hadoop

导出是Hadoop到RDBMS


4.假如输入一个命令找不到not found,你们觉得该怎么办?(老生常谈)


先看打错了没有,再看PATH有没有,或者yum安装


5.sqoop命令参数-m是什么意思


指定MapReduce的数量


6.sqoop 想要把MySQL数据导到hive里,那么是不是要加mysql jdbc jar包?


需要


7.sqoop导入,我能不能直接写SQL的导?


可以 --query指定


8.sqoop会有reduce job吗


不会


9.假如让你们项目作业的sqoop 每天导数据到hive分区表里,用shell脚本和crontab,有没有信心完成?


还要练习

目录
相关文章
|
6月前
|
SQL HIVE
49 Hive修改表
49 Hive修改表
19 0
49 Hive修改表
|
SQL HIVE
hive进行表的修改操作
hive进行表的修改操作
|
SQL 数据库 HIVE
hive进行表的操作
hive进行表的操作
hive进行表的操作
|
SQL 存储 分布式计算
Hive命令使用记录
Hive命令使用记录
78 0
Hive命令使用记录
|
SQL 分布式计算 监控
使用Flume监控文件并导入到HIVE表中
使用Flume监控文件并导入到HIVE表中
|
SQL 分布式计算 Hadoop
使用Sqoop导出Mysql数据到Hive(实战案例)
使用Sqoop导出Mysql数据到Hive(实战案例)
449 0
使用Sqoop导出Mysql数据到Hive(实战案例)
|
SQL 存储 分布式计算
【Hive】(二十二)往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解
【Hive】(二十二)往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解
921 0
|
SQL 存储 关系型数据库
|
存储 SQL Java
|
存储 SQL 分布式计算