数据手动导入星环inceptor

简介: 1.访问星环客户端,下载TDH_Client压缩包 2.到该目录,解压压缩包,./init.sh 3.source init.

1.访问星环客户端,下载TDH_Client压缩包
2.到该目录,解压压缩包,./init.sh
3.source init.sh
4.输入export HADOOP_USER_NAME=hdfs
5.导入oracle的驱动包到/opt/TDH_Client/sqoop/lib下
6.sqoop import –connect “jdbc:oracle:thin:@192.168.186.36:1521/ORCL” –username epoint –password 11111 –target-dir /data/sqoop/bo_user/CAR_HAILING2 -m 1 –query “select * from CAR_HAILING2 where $CONDITIONS” –fields-terminated-by “\001” –hive-drop-import-delims –null-string ‘\N’ –null-non-string ‘\N’ –outdir /tmp/sqoop_jar

7.create external table if not exists EX.ex_CAR_HAILING2 (TIME STRING,PLATE_NUM STRING,
DETECTOR_NUM STRING
) row format DELIMITED FIELDS terminated by ‘\001’ stored as textfile location ‘/data/sqoop/bo_user/CAR_HAILING2’;

8.create table if not exists CAR_HAILING2 (TIME STRING,PLATE_NUM STRING,
DETECTOR_NUM STRING
) clustered by (TIME) into 250 buckets STORED AS ORC 每个桶大概200M,所以22G数据,设置110个桶,如果是ORC事务表,每个桶不超过100M,设置为250

9.INSERT INTO DEFAULT.CAR_HAILING2 SELECT * FROM ex.CAR_HAILING2

目录
相关文章
|
3月前
|
SQL C# 数据库
EPPlus库的安装和使用 C# 中 Excel的导入和导出
本文介绍了如何使用EPPlus库在C#中实现Excel的导入和导出功能。首先,通过NuGet包管理器安装EPPlus库,然后提供了将DataGridView数据导出到Excel的步骤和代码示例,包括将DataGridView转换为DataTable和使用EPPlus将DataTable导出为Excel文件。接着,介绍了如何将Excel数据导入到数据库中,包括读取Excel文件、解析数据、执行SQL插入操作。
EPPlus库的安装和使用 C# 中 Excel的导入和导出
|
4月前
|
Python
像导入Python模块一样导入ipynb文件
像导入Python模块一样导入ipynb文件
|
6月前
从同一文件中导出和导入多个组件
从同一文件中导出和导入多个组件
|
7月前
|
存储 Java easyexcel
导出导入开发场景
导出导入开发场景
|
JSON 数据格式 Python
学到了,学到了导入模块还能这么操作
学到了,学到了导入模块还能这么操作
|
JSON JavaScript 大数据
轻松搞定 excel 的 导入 和 导出
轻松搞定 excel 的 导入 和 导出
181 0
|
JSON 前端开发 数据格式
给我实现一个前端的 Excel 导入和导出功能(二)
给我实现一个前端的 Excel 导入和导出功能
259 0
|
JSON 前端开发 BI
给我实现一个前端的 Excel 导入和导出功能(一)
给我实现一个前端的 Excel 导入和导出功能
278 0
|
缓存 算法 JavaScript
如何开发一个导入/导出插件
在开发过程中,或多或少都会遇到数据格式转换的问题,如果只是简单的数据,那自然用什么方式都可以,如果遇到数据非常多、层级复杂、关联性强的数据,则需要摸索出一套合适的方法,本文会介绍两种比较可行的转换模型,他们各自适合不同的场景和喜好。