极限挑战—C#+ODP 100万条数据导入Oracle数据库仅用不到1秒

 .Net程序中可以通过ODP调用特性，对Oracle数据库进行操作，今天来讲一下数据批量插入的功能，所用技术不高不深，相信很多朋友都接触过，小弟班门弄斧了，呵呵。这篇文章是上篇文章的续集，因为上一次试验的征集结果没有突破4秒的方法，所以这次继续挑战与挖掘新方法，虽然是Oracle，但仍具有一定收藏意义。

    上一次文章中提及的试验：

    极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)

    http://www.cnblogs.com/isline/archive/2010/03/18/1688783.html

    这个试验是针对SQL SERVER数据库的，宿主环境也是.Net，有兴趣的朋友可以将这两个试验对比一下，为日后工作批量导数提供支持。

    另外，一些朋友对上次试验环境有些异议，认为应该对数据库和服务器做优化或设置，以体现试验最终的时间结果。这个固然会影响试验的时间结果，但考虑到在试验环境中，对数据库优化的标准与优化程度不便统一与定量，试验结果也不易说明其影响源，所以这次试验依然以标准数据库建库后的配置为主，试验所在服务器硬件环境与上次试验保持一致。实验目的在于挖掘、对比宿主程序中的数据批量操作方法。

    有新方法提升性能时间指标的朋友，欢迎互相切磋，互相提高，嘴上功夫就免了。。。

    好了正文开始。

    ● 普通肉垫式

    什么叫批量插入呢，就是一次性插入一批数据，我们可以把这批数据理解为一个大的数组，而这些全部只通过一个SQL来实现，而在传统方式下，需要调用很多次的SQL才可以完成，这就是著名的“数组绑定”的功能。我们先来看一下传统方式下，插入多行记录的操作方式：

代码

   
   

    
    //
    设置一个数据库的连接串， 
    


    


    string
     connectStr 
    =
     
    "
    User Id=scott;Password=tiger;Data Source=
    "
    ; 



OracleConnection conn 
    =
     
    new
     OracleConnection(connectStr); 



OracleCommand command 
    =
     
    new
     OracleCommand(); 



command.Connection 
    =
     conn; 



conn.Open(); 



Stopwatch sw 
    =
     
    new
     Stopwatch(); 



sw.Start(); 




    //
    通过循环写入大量的数据，这种方法显然是肉垫 
    


    


    for
     (
    int
     i 
    =
     
    0
    ; i 
    <
     recc; i
    ++
    ) 



{ 




    string
     sql 
    =
     
    "
    insert into dept values(
    "
     
    +
     i.ToString() 




    +
     
    "
    ,
    "
     
    +
     i.ToString() 
    +
     
    "
    ,
    "
     
    +
     i.ToString() 
    +
     
    "
    )
    "
    ; 



command.CommandText 
    =
     sql; 



command.ExecuteNonQuery(); 



} 



sw.Stop(); 



System.Diagnostics.Debug.WriteLine(
    "
    普通插入:
    "
     
    +
     recc.ToString() 




    +
     
    "
    所占时间:
    "
     
    +
     sw.ElapsedMilliseconds.ToString()); 


   
   

    我们先准备好程序，但是先不做时间的测定，因为在后面我们会用多次循环的方式来计算所占用的时间。

    ● 使用ODP特性

    看上面的程序，大家都很熟悉，因为它没有用到任何ODP的特性，而紧接着我们就要来介绍一个神奇的程序了，我们看一下代码，为了更直观，我把所有的注释及说明直接写在代码里：

代码

    以上代码略显冗长，但是加上注释后基本也就表达清楚了。

    好了，到目前为止，两种方式的插入操作程序已经完成，就剩下对比了。我在主函数处写了一个小函数，循环多次对两个方法进行调用，并且同时记录下时间，对比函数如下：

  
  

   
   for
    (
   int
    i 
   =
    
   1
   ; i 
   <=
    
   50
   ; i
   ++
   ) 



{ 



Truncate(); 



OrdinaryInsert(i 
   *
    
   1000
   ); 



Truncate(); 



BatchInsert(i 
   *
    
   1000
   ); 



} 


  
  

    当数据量达到100万级别时，所用时间依然令人满意，最快一次达到890毫秒，一般为1秒左右。

    其中有些数据有些跳跃，可能和数据库本身有关系，但是大部分数据已经能说明问题了。看了这些数据后，是不是有些心动了？

    源程序放了一段时间直接拷贝贴过来了，可能需要调试一下才能跑通，不过不是本质性问题，对了如果要测试别忘记安装Oracle访问组件。

本文转自Aicken(李鸣)博客园博客，原文链接：http://www.cnblogs.com/isline/archive/2010/08/31/1813722.html，如需转载请自行联系原作者