数据手动导入星环inceptor

简介: 1.访问星环客户端,下载TDH_Client压缩包 2.到该目录,解压压缩包,./init.sh 3.source init.

1.访问星环客户端,下载TDH_Client压缩包
2.到该目录,解压压缩包,./init.sh
3.source init.sh
4.输入export HADOOP_USER_NAME=hdfs
5.导入oracle的驱动包到/opt/TDH_Client/sqoop/lib下
6.sqoop import –connect “jdbc:oracle:thin:@192.168.186.36:1521/ORCL” –username epoint –password 11111 –target-dir /data/sqoop/bo_user/CAR_HAILING2 -m 1 –query “select * from CAR_HAILING2 where $CONDITIONS” –fields-terminated-by “\001” –hive-drop-import-delims –null-string ‘\N’ –null-non-string ‘\N’ –outdir /tmp/sqoop_jar

7.create external table if not exists EX.ex_CAR_HAILING2 (TIME STRING,PLATE_NUM STRING,
DETECTOR_NUM STRING
) row format DELIMITED FIELDS terminated by ‘\001’ stored as textfile location ‘/data/sqoop/bo_user/CAR_HAILING2’;

8.create table if not exists CAR_HAILING2 (TIME STRING,PLATE_NUM STRING,
DETECTOR_NUM STRING
) clustered by (TIME) into 250 buckets STORED AS ORC 每个桶大概200M,所以22G数据,设置110个桶,如果是ORC事务表,每个桶不超过100M,设置为250

9.INSERT INTO DEFAULT.CAR_HAILING2 SELECT * FROM ex.CAR_HAILING2

目录
相关文章
|
3月前
|
JSON NoSQL 小程序
Mongodb数据库的导出和导入总结
Mongodb数据库的导出和导入总结
250 0
|
2月前
从同一文件中导出和导入多个组件
从同一文件中导出和导入多个组件
|
3月前
|
存储 Java easyexcel
导出导入开发场景
导出导入开发场景
|
JSON 数据格式 Python
学到了,学到了导入模块还能这么操作
学到了,学到了导入模块还能这么操作
|
9月前
|
JSON JavaScript 大数据
轻松搞定 excel 的 导入 和 导出
轻松搞定 excel 的 导入 和 导出
126 0
5.ES6模块导出导入
5.ES6模块导出导入
68 0
|
JSON 前端开发 数据格式
给我实现一个前端的 Excel 导入和导出功能(二)
给我实现一个前端的 Excel 导入和导出功能
236 0
|
JSON 前端开发 BI
给我实现一个前端的 Excel 导入和导出功能(一)
给我实现一个前端的 Excel 导入和导出功能
249 0
jeasypoi导入excel,数字列导入失败解决办法
jeasypoi导入excel,数字列导入失败解决办法
402 0
jeasypoi导入excel,数字列导入失败解决办法