20180614早课记录31-Sqoop

简介: 今天来讲Sqoop

1.来来来谈谈你们自认为零基础班hive要掌握哪些东西?


编译 搭建 DDL DML  动态分区 静态分区 函数


2.hive的元数据我们存储在哪?数据存储在哪?


MySQL HDFS


3.udf函数临时生效和永久生效会不会?


还没具体做


4.sqoop是mr job?


是mr job


5.我们常用的是sqoop1,那么对比sqoop2,这两者区别


两个不同版本,完全不兼容


6.sqoop导入,可以根据SQL导吗?


可以


7.(拓展题)sqoop如何全量,如何每天增量导数据到hive(这块你们去调研看看  增量)


还需调研


8.提醒各位: sqoop在mysql导入到hive,在生产上,由于数据不可能那么像我们课堂规范,比如数据含有换行符这种的,那么导入到hive是不是会出问题?(默认\t 分割,\n换行符)那么你们觉得我们该怎么办?(拓展题,自己搜搜看看)


不规范可以先清洗

目录
打赏
0
0
0
0
26
分享
相关文章
Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
【2月更文挑战第9天】Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
374 7
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
121 0
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
80 0

热门文章

最新文章