【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解

1.将本地数据文件导入到hive非分区表中,如下文件可以是个目录，会导入目录中所有的文件
load data local inpath '/home/robot/'
overwrite into table fdm_sor.personinfo
2.将本地数据文件导入到hive分区表中
load data local inpath '/home/robot/'
overwrite into table fdm_sor.personinfo
partition(country='china',city='nanjing')
注意：
   1.inpath里只要填目录即可，不用具体到文件，会加载目录下所有问题，但该目录下不能再有子目录，否则报错。
   2.overwrite 可以不加，加的话会将表中所有数据覆盖掉（分区表只覆盖当前分区数据），into talbe 将数据追加到表中。
   3.into talbe 如果表里数据已经存在了，会再次到导入，底层文件存储会给同文件名加序列号然后存储。
3.将分布式文件系统上的数据导入的hive中，比如讲hdfs上数据导入到hive中
load data inpath '/user/robot/'
overwrite into table fdm_sor.personinfo
注意：去掉local，则默认的路径是分布式文件系统上的路径，如hdfs上的路径。

1.通过查询将数据覆盖导入的分区表中(或者用into追加结果，往动态分区表中插入数据，请参考本系列其他博客。）
insert overwrite table fdm_sor.personinfo
partition(statis_date='${staits_date}'
select a.id,a.name,b.address
from  person a left join address b
on a.id = b.id
2.多次插入，从一张表中读数据，下面这种方式效率最高，只需要扫描一次表即可。注意中间没有分号；
from T_DEDUCT_SIGN_D_external t
insert into table t1 
select 123 ,sign_no string,null
insert into table t2
select 345 ,null ,bp_no string
insert into table t3
select 678 ,sign_no string,bp_no string
where t.statis_date = '20180101';

hive (fdm_sor)> create table mytest_createas  
              > as select id ,name
                 from  mytest_tmp2_p
                where country='china' and city='beijing';
注意：使用create... as 创建的表，表的存储属性是默认的textfile，serde也是默认的lazyserde.同时表没有分区.如果对表的结构有要求，
比如我们公司sor要求使用rcfile存储，则不能使用create ..as创建表，并且加载数据。
2.如果多次操作需要取同一个表中数据，可以优化如下,将from放到最前面，这样只扫描一次表即可完成。
  from  tu_trade t
  insert overwrite table credit
       partition(statis_date='201805')
       select *  where t.statis_date ='201805'
  insert overwrite table credit
    partition(statis_date='201804')
    select *  where t.statis_date ='201804'
    .......
  insert overwrite table credit
    partition(statis_date='201704')
    select *  where t.statis_date ='201704'

标准语法格式：
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
  [ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0)
  SELECT ... FROM ...
多次多出语法格式：
FROM from_statement
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2] ...
案例演示：
hive (fdm_sor)> insert overwrite local directory '/home/robot/mydata/111' 
              > select *  from mytest_tmp2_p where country='china';
注意：1.不加local则将数据导出到分布式文件系统上，比如hdfs.加了local则默认为本地，如linux上。
     2.overwrite会将目录下的内容覆盖掉，尤其是如果当前目录下有数据，会丢失。但是这里没有into的用法。
     3.如果导出的目录，不存在，则会重新创建。
     4.注意导出产生的文件个数取决于计算过程中reducers个数。