数据手动导入星环inceptor

简介: 1.访问星环客户端,下载TDH_Client压缩包 2.到该目录,解压压缩包,./init.sh 3.source init.

1.访问星环客户端,下载TDH_Client压缩包
2.到该目录,解压压缩包,./init.sh
3.source init.sh
4.输入export HADOOP_USER_NAME=hdfs
5.导入oracle的驱动包到/opt/TDH_Client/sqoop/lib下
6.sqoop import –connect “jdbc:oracle:thin:@192.168.186.36:1521/ORCL” –username epoint –password 11111 –target-dir /data/sqoop/bo_user/CAR_HAILING2 -m 1 –query “select * from CAR_HAILING2 where $CONDITIONS” –fields-terminated-by “\001” –hive-drop-import-delims –null-string ‘\N’ –null-non-string ‘\N’ –outdir /tmp/sqoop_jar

7.create external table if not exists EX.ex_CAR_HAILING2 (TIME STRING,PLATE_NUM STRING,
DETECTOR_NUM STRING
) row format DELIMITED FIELDS terminated by ‘\001’ stored as textfile location ‘/data/sqoop/bo_user/CAR_HAILING2’;

8.create table if not exists CAR_HAILING2 (TIME STRING,PLATE_NUM STRING,
DETECTOR_NUM STRING
) clustered by (TIME) into 250 buckets STORED AS ORC 每个桶大概200M,所以22G数据,设置110个桶,如果是ORC事务表,每个桶不超过100M,设置为250

9.INSERT INTO DEFAULT.CAR_HAILING2 SELECT * FROM ex.CAR_HAILING2

目录
相关文章
|
网络协议 Windows
解决 Parallels Desktop 虚拟机不能连网的问题
虚拟机用了很长时间都很好,突然有一天发现链接不上网络了,Mac系统联网没有问题,也设置了共享网络,但是依然链接不上网络,怎么办,来试试下面的这些方法
961 0
|
存储 Shell Linux
【Shell 命令集合 磁盘管理 】Linux读取、转换并输出数据 dd命令使用教程
【Shell 命令集合 磁盘管理 】Linux读取、转换并输出数据 dd命令使用教程
450 0
本地内核调试神器 —— livekd 使用总结
本地内核调试神器 —— livekd 使用总结
|
机器学习/深度学习 人工智能 自然语言处理
什么是神经元、神经网络、模型、调参、炼丹?
什么是神经元、神经网络、模型、调参、炼丹?
862 0
|
iOS开发 MacOS
推荐几个mac分屏显示的工具
桌面分屏是我们工作中经常会用到的功能,但是Mac上自带的分屏功能非常有限,必须进入全屏才能使用,管理窗口时使用起来并不方便。本文中我们就来推荐几款好用的Mac分屏软件,让你的窗口管理更简单
|
Java 测试技术 数据安全/隐私保护
Spring Boot | 一种优雅的参数校验方案(个人总结)
一种优雅的参数校验方案(个人总结)
1695 1
Spring Boot | 一种优雅的参数校验方案(个人总结)
|
10月前
|
人工智能 自然语言处理 数据可视化
Cursor 为低代码加速,AI 生成应用新体验!
通过连接 Cursor,打破了传统低代码开发的局限,我们无需编写一行代码,甚至连拖拉拽这种操作都可以抛诸脑后。只需通过与 Cursor 进行自然语言对话,用清晰的文字描述自己的应用需求,就能轻松创建出一个完整的低代码应用。
1562 8
|
9月前
|
SQL 监控 数据库
如何解决 SQL Server 占用内存过多问题
SQL Server 占用过多内存会导致响应缓慢和查询性能低下。解决流程包括:1) 查看内存使用情况,2) 分析各数据库内存占用,3) 优化 SQL Server 配置(如限制最大内存),4) 优化查询(如创建索引),5) 持续监控效果。通过这些步骤可有效控制内存占用,提升系统性能。
1148 0
|
9月前
|
机器学习/深度学习 自然语言处理 数据可视化
《自然语言处理架构的隐秘力量:FFN深度揭秘》
前馈神经网络(FFN)是自然语言处理(NLP)领域中不可或缺的组件,尤其在Transformer等架构中发挥重要作用。FFN通过非线性变换和特征提取,增强模型对复杂语义的理解能力,同时平衡注意力机制输出,提升泛化性能。其基本结构包括输入层、隐藏层和输出层,工作原理涉及加权求和与激活函数处理。尽管存在训练成本高和可解释性差等问题,未来的研究可能通过稀疏连接、动态计算等方式优化FFN,推动NLP技术进一步发展。
470 3