SQL Loader的导入文本数据

简介:
环境:
Oracle10g 10.2
 
有一个文本数据,格式如下:
        HLR_CODE  HLR_TYPE  REGION_CODE  AREA_CODE  PROV_CODE  BUREAU_CODE  VALID_DATE  EXPIRE_DATE  MODIFY_DATE 
1  1302309  1  565  565  551  Z00  2000-1-1  2020-12-31 23:59:59  2008-11-19 20:22:56 
2  1302310  1  210  21  210  Z00  2000-1-1  2020-12-31 23:59:59  2008-11-19 20:22:56 
3  1302311  1  210  21  210  Z00  2000-1-1  2020-12-31 23:59:59  2008-11-19 20:22:56 
4  1302312  1  210  21  210  Z00  2000-1-1  2020-12-31 23:59:59  2008-11-19 20:22:56 
 
需要导入到一张表:
create  table BS_HLR_INFO 

    HLR_CODE        VARCHAR2(8)  not  null
    HLR_TYPE        NUMBER(3)  not  null
    REGION_CODE VARCHAR2(5)  not  null
    AREA_CODE     VARCHAR2(5)  not  null
    PROV_CODE     VARCHAR2(7)  not  null
    BUREAU_CODE VARCHAR2(5), 
    VALID_DATE    DATE  not  null
    EXPIRE_DATE DATE  not  null
    MODIFY_DATE DATE  default sysdate 
);
 
方法是通过sql loader来完成:
1、写配置文件
OPTIONS (skip=1,rows=128)    
LOAD DATA     
INFILE "hlr_info" 
truncate 
INTO  TABLE BS_HLR_INFO  -- 要插入记录的表     
Fields terminated  by "  "    
trailing nullcols  --表的字段没有对应的值时允许为空     
(     
    virtual_column FILLER,  --这是一个虚拟字段,用来跳过由 PL/SQL Developer 生成的第一列序号        
    HLR_CODE, 
    HLR_TYPE, 
    REGION_CODE, 
    AREA_CODE, 
    PROV_CODE, 
    BUREAU_CODE, 
    VALID_DATE DATE "YYYY-MM-DD HH24:MI:SS", 
    EXPIRE_DATE DATE "YYYY-MM-DD HH24:MI:SS", 
    MODIFY_DATE DATE "YYYY-MM-DD HH24:MI:SS" 
)
 
2、执行导入命令
F:\sqlloaderdata>dir hlr* 
驱动器 F 中的卷是 work 
卷的序列号是 647B-14FC 

F:\sqlloaderdata 的目录 

2010-08-27    16:25                             638 hlr_info.ctl 
2010-08-24    09:58                18,470,605 hlr_info.dat 
2010-08-27    16:27                         2,056 hlr_info.log 
                             3 个文件         18,473,299 字节 
                             0 个目录 28,318,511,104 可用字节 

F:\sqlloaderdata> sqlldr cs/cs@hatest control=hlr_info.ctl
 
执行后控制台输出:
......
达到提交点 - 逻辑记录计数 223296 
达到提交点 - 逻辑记录计数 223406 
达到提交点 - 逻辑记录计数 223516 
达到提交点 - 逻辑记录计数 223626 
达到提交点 - 逻辑记录计数 223632 
达到提交点 - 逻辑记录计数 223633 

F:\sqlloaderdata>
 
3、查看日志文件

SQL*Loader: Release 10.2.0.1.0 - Production on 星期五 8月 27 16:26:37 2010 

Copyright (c) 1982, 2005, Oracle.    All rights reserved. 

控制文件:            hlr_info.ctl 
数据文件:            hlr_info.dat 
    错误文件:        hlr_info.bad 
    废弃文件:        未作指定 
    
(可废弃所有记录) 

要加载的数: ALL 
要跳过的数: 1 
允许的错误: 50 
绑定数组: 128 行, 最大 256000 字节 
继续:        未作指定 
所用路径:             常规 

表 BS_HLR_INFO,已加载从每个逻辑记录 
插入选项对此表 TRUNCATE 生效 
TRAILING NULLCOLS 选项生效 

     列名                                                位置            长度    中止 包装数据类型 
------------------------------ ---------- ----- ---- ---- --------------------- 
VIRTUAL_COLUMN                                            FIRST         *    WHT            CHARACTER                         
    (FILLER FIELD) 
HLR_CODE                                                         NEXT         *    WHT            CHARACTER                         
HLR_TYPE                                                         NEXT         *    WHT            CHARACTER                         
REGION_CODE                                                    NEXT         *    WHT            CHARACTER                         
AREA_CODE                                                        NEXT         *    WHT            CHARACTER                         
PROV_CODE                                                        NEXT         *    WHT            CHARACTER                         
BUREAU_CODE                                                    NEXT         *    WHT            CHARACTER                         
VALID_DATE                                                     NEXT         *    WHT            DATE YYYY-MM-DD HH24:MI:SS 
EXPIRE_DATE                                                    NEXT         *    WHT            DATE YYYY-MM-DD HH24:MI:SS 
MODIFY_DATE                                                    NEXT         *    WHT            DATE YYYY-MM-DD HH24:MI:SS 

ROWS 参数所用的值已从 128 更改为 110 

表 BS_HLR_INFO: 
    223633 行 加载成功。 
    由于数据错误, 0 行 没有加载。 
    由于所有 WHEN 子句失败, 0 行 没有加载。 
    由于所有字段都为空的, 0 行 没有加载。 


为绑定数组分配的空间:                                255420 字节 (110 行) 
读取     缓冲区字节数: 1048576 

跳过的逻辑记录总数:                    1 
读取的逻辑记录总数:                223633 
拒绝的逻辑记录总数:                    0 
废弃的逻辑记录总数:                0 

从 星期五 8月    27 16:26:37 2010 开始运行 
在 星期五 8月    27 16:27:05 2010 处运行结束 

经过时间为: 00: 00: 28.05 
CPU 时间为: 00: 00: 02.61
 
导入成功!


本文转自 leizhimin 51CTO博客,原文链接:http://blog.51cto.com/lavasoft/384195,如需转载请自行联系原作者
相关文章
|
4月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
791 43
|
4月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
284 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
5月前
|
SQL
SQL如何只让特定列中只显示一行数据
SQL如何只让特定列中只显示一行数据
|
9月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
227 4
|
5月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据
|
5月前
|
SQL 关系型数据库 MySQL
SQL如何对不同表的数据进行更新
本文介绍了如何将表A的Col1数据更新到表B的Col1中,分别提供了Microsoft SQL和MySQL的实现方法,并探讨了多表合并后更新的优化方式,如使用MERGE语句提升效率。适用于数据库数据同步与批量更新场景。
|
7月前
|
SQL 数据挖掘 关系型数据库
【SQL 周周练】一千条数据需要做一天,怎么用 SQL 处理电表数据(如何动态构造自然月)
题目来自于某位发帖人在某 Excel 论坛的求助,他需要将电表缴费数据按照缴费区间拆开后再按月份汇总。当时用手工处理数据,自称一千条数据就需要处理一天。我将这个问题转化为 SQL 题目。
241 12
|
6月前
|
SQL DataWorks 数据管理
SQL血缘分析实战!数据人必会的3大救命场景
1. 开源工具:Apache Atlas(元数据管理)、Spline(血缘追踪) 2. 企业级方案:阿里DataWorks血缘分析、腾讯云CDW血缘引擎 3. 自研技巧:在ETL脚本中植入版本水印,用注释记录业务逻辑变更 📌 重点总结:
|
7月前
|
SQL 数据采集 资源调度
【SQL 周周练】爬取短视频发现数据缺失,如何用 SQL 填充
爬虫爬取抖音和快手的短视频数据时,如果遇到数据缺失的情况,如何使用 SQL 语句完成数据的补全。
171 5
|
9月前
|
SQL 容灾 关系型数据库
阿里云DTS踩坑经验分享系列|DTS打通SQL Server数据通道能力介绍
SQL Server 以其卓越的易用性和丰富的软件生态系统,在数据库行业中占据了显著的市场份额。作为一款商业数据库,外部厂商在通过解析原生日志实现增量数据捕获上面临很大的挑战,DTS 在 SQL Sever 数据通道上深研多年,提供了多种模式以实现 SQL Server 增量数据捕获。用户可以通过 DTS 数据传输服务,一键打破自建 SQL Server、RDS SQL Server、Azure、AWS等他云 SQL Server 数据孤岛,实现 SQL Server 数据源的流动。
527 0
阿里云DTS踩坑经验分享系列|DTS打通SQL Server数据通道能力介绍