20180614早课记录31-Sqoop

简介: 今天来讲Sqoop

1.来来来谈谈你们自认为零基础班hive要掌握哪些东西?


编译 搭建 DDL DML  动态分区 静态分区 函数


2.hive的元数据我们存储在哪?数据存储在哪?


MySQL HDFS


3.udf函数临时生效和永久生效会不会?


还没具体做


4.sqoop是mr job?


是mr job


5.我们常用的是sqoop1,那么对比sqoop2,这两者区别


两个不同版本,完全不兼容


6.sqoop导入,可以根据SQL导吗?


可以


7.(拓展题)sqoop如何全量,如何每天增量导数据到hive(这块你们去调研看看  增量)


还需调研


8.提醒各位: sqoop在mysql导入到hive,在生产上,由于数据不可能那么像我们课堂规范,比如数据含有换行符这种的,那么导入到hive是不是会出问题?(默认\t 分割,\n换行符)那么你们觉得我们该怎么办?(拓展题,自己搜搜看看)


不规范可以先清洗

目录
相关文章
|
6月前
|
SQL HIVE
49 Hive修改表
49 Hive修改表
19 0
49 Hive修改表
|
SQL HIVE
hive进行表的修改操作
hive进行表的修改操作
|
SQL 数据库 HIVE
hive进行表的操作
hive进行表的操作
hive进行表的操作
|
SQL 存储 分布式计算
Hive命令使用记录
Hive命令使用记录
78 0
Hive命令使用记录
|
SQL 分布式计算 监控
使用Flume监控文件并导入到HIVE表中
使用Flume监控文件并导入到HIVE表中
|
SQL 分布式计算 Hadoop
使用Sqoop导出Mysql数据到Hive(实战案例)
使用Sqoop导出Mysql数据到Hive(实战案例)
449 0
使用Sqoop导出Mysql数据到Hive(实战案例)
|
SQL 存储 分布式计算
【Hive】(二十二)往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解
【Hive】(二十二)往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解
921 0
|
SQL 分布式计算 Hadoop
|
SQL 存储 关系型数据库
|
存储 SQL Java