开发者社区> 问答> 正文

Mysql批量插入和更新的性能

利用Hibernate,连接池使用的是BoneCP,做了一个MySql批量插入和批量更新的Demo,出现了下面两个问题。 1.批量插入。我采用的是原生态的JDBC,每次批量插入60条数据左右(数据量不固定),循环3000次。每次在循环到100次左右的时候,会出现“com.jolbox.bonecp.ConnectionPartition - BoneCP detected an unclosed connection and will now attempt to close it for you. You should be closing this connection in your application - enable connectionWatch for additional debugging assistance.”,紧接着程序就没有反映了。

2.批量更新。每次批量更新的数据量大约在3w条左右,居然要耗时16秒左右,有没有办法提高性能至2秒左右。代码如下: Java代码 收藏代码

String sql = "replace into savedata(id , saveId , saveKey , value)values(?,?,?,?)";  
   Session session = getSessionFactory().openSession();  
    Connection conn = session.connection();  
  Transaction tx=getSessionFactory().openSession().beginTransaction();    
try {  
     PreparedStatement stmt=conn.prepareStatement(sql);  
     for (Savedata savedata : list) {  
    stmt.setString(1, savedata.getId());  
    stmt.setString(2, savedata.getSaveId());  
     stmt.setString(3, savedata.getSaveKey());  
    stmt.setString(4, savedata.getValue());  
    stmt.addBatch();  
    }  
    stmt.executeBatch();  
    tx.commit();  
    } catch (Exception e) {  
              
              
    }finally{  
        try {  
            conn.close();  
        } catch (SQLException e) {  
            log.warn("the db connection cant not close!" ,e);  
        }  
        if(session.isOpen())  
                session.close();  
        }

问题补充:连接池采用的是BoneCP , 感觉比cp30 ,proxool性能要好。配置如下:

<property name="driverClass" value="com.mysql.jdbc.Driver" /> 
<property name="jdbcUrl" 
value="jdbc:mysql://localhost:3306/ugms" /> 
<property name="username" value="root" /> 
<property name="password" value="password" /> 
<property name="idleConnectionTestPeriod" value="60" /> 
<property name="idleMaxAge" value="240" /> 
<property name="maxConnectionsPerPartition" value="30" /> 
<property name="minConnectionsPerPartition" value="10" /> 
<property name="partitionCount" value="3" /> 
<property name="acquireIncrement" value="5" /> 
<property name="statementCacheSize" value="100" /> 
<property name="releaseHelperThreads" value="3" />

展开
收起
长安归故里. 2020-01-31 14:06:14 2149 0
1 条回答
写回答
取消 提交回答
  • 对于这种大数据量的更新情况,可以采用多线程的方式,每个线程更新100条数据,这样就能提高更新的速度了

    当然这里的100只是一个猜想值,哪个值合适,需要你测试才能得出。我想的话,应该能比单线要快些,至于能不能优化到2s,这个就不清楚了

    同时需要注意你的连接池大小、线程池大小(核心线程数)。这些资源也会影响到你的更新速度(即这些资源不能出现竞争)

    最后,我对你需要更新这么大的数据量操作有一些疑问: 这个操作是online的吗? 这个操作的返回是实时的吗?

    对于大数据量的更新一般会做成一个异步的操作,而不需要是实时的

    2020-01-31 14:06:22
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
One Box: 解读事务与分析一体化数据库 HybridDB for MySQL 立即下载
One Box:解读事务与分析一体化数据库HybridDB for MySQL 立即下载
如何支撑HTAP场景-HybridDB for MySQL系统架构和技术演进 立即下载

相关镜像