动态SQL完成大表数据的迁移

简介: 目前需求是根据源表数据如salary>10000的数据插入目标表中,目标表根据需要指定,且插入指定N条数据后提交。 对于此类问题可以用insert into select方法但需要按指定N条数据提交,说明表中数据量很大,插入时应批量提取,再按 ...

目前需求是根据源表数据如salary>10000的数据插入目标表中,目标表根据需要指定,且插入指定N条数据后提交。

对于此类问题可以用insert into select方法但需要按指定N条数据提交,说明表中数据量很大,插入时应批量提取,再按

指定条数插入新表,且批量提取数据时也应根据数据大小分批提取,于是考虑在动态sql中使用bulk collect into + limit的方法

具体实例如下


drop table emp_bak;
create table emp_bak
  as select  first_name
            ,salary
            ,rownum  rnid
  from employees
  where 1 != 1;

declare
  SOURCE_TABLE varchar(100);
  TAG_A VARCHAR(100);
  C_COUNT  VARCHAR(100);
  v_query_sql   varchar2(500);
  v_query_rn   varchar2(100);
  
  type delArray1 is table of hr.employees.first_name%type index by binary_integer;
  type delArray2 is table of hr.employees.salary%type index by binary_integer;
  type delArray3 is table of  hr.employees.employee_id%type index by binary_integer;
  first_name delArray1;
  salary delArray2;
  rnid delArray3;
  rnd number;
 
  TYPE i_cursor_type IS REF CURSOR;
  my_cursor i_cursor_type;
  begin 
       SOURCE_TABLE := 'employees';
       TAG_A := 'emp_bak';
       C_COUNT  := 10;
       v_query_rn :=
        'select   count(*)
       from '||SOURCE_TABLE||'
       where salary > 10000';
      
       v_query_sql :=
        'select    first_name
                  ,salary
                  ,rownum
       from '||SOURCE_TABLE||'
       where salary > 10000';
      
      open   my_cursor  for v_query_sql;
      execute immediate v_query_rn into rnd;
      for i in 1..rnd loop
        fetch my_cursor bulk collect into first_name,salary,rnid limit 10;
        for i in 1..first_name.count
        loop        
         execute immediate  'insert into hr.'|| TAG_A||' values (:1, :2, :3)'
                          using first_name(i),salary(i),rnid(i);
        end loop;
       end loop;
      close my_cursor;          
  end;
 
 select count(*) from emp_bak;

目录
相关文章
|
24天前
|
SQL 存储 缓存
SQL Server 数据太多如何优化
11种优化方案供你参考,优化 SQL Server 数据库性能得从多个方面着手,包括硬件配置、数据库结构、查询优化、索引管理、分区分表、并行处理等。通过合理的索引、查询优化、数据分区等技术,可以在数据量增大时保持较好的性能。同时,定期进行数据库维护和清理,保证数据库高效运行。
|
2月前
|
SQL 移动开发 Oracle
SQL语句实现查询连续六天数据的方法与技巧
在数据库查询中,有时需要筛选出符合特定时间连续性条件的数据记录
|
2月前
|
SQL 存储 关系型数据库
添加数据到数据库的SQL语句详解与实践技巧
在数据库管理中,添加数据是一个基本操作,它涉及到向表中插入新的记录
|
2月前
|
SQL 数据挖掘 数据库
SQL查询每秒的数据:技巧、方法与性能优化
id="">SQL查询功能详解 SQL(Structured Query Language,结构化查询语言)是一种专门用于与数据库进行沟通和操作的语言
|
2月前
|
SQL 监控 数据处理
SQL数据库数据修改操作详解
数据库是现代信息系统的重要组成部分,其中SQL(StructuredQueryLanguage)是管理和处理数据库的重要工具之一。在日常的业务运营过程中,数据的准确性和及时性对企业来说至关重要,这就需要掌握如何在数据库中正确地进行数据修改操作。本文将详细介绍在SQL数据库中如何修改数据,帮助读者更好
251 4
|
2月前
|
SQL 关系型数据库 MySQL
SQL批量插入测试数据的几种方法?
SQL批量插入测试数据的几种方法?
99 1
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
89 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
41 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
49 0
|
2月前
|
SQL
使用SQL进行集合查询和数据维护
使用SQL进行集合查询和数据维护
38 0