JDBC性能优化方案

简介:    近期用到了利用JDBC查询Oracle数据库,但是查询效率不尽人意,研究了一下JDBC方面可以优化的地方,在这里跟大家分享一下。   1.设置最优的预取值         defaultRowPrefetch:预取条数默认值          defaultBatchValue:触发查询操作的批量请求值         这两个参数的默认值都是10,我们可以通过增
   近期用到了利用JDBC查询Oracle数据库,但是查询效率不尽人意,研究了一下JDBC方面可以优化的地方,在这里跟大家分享一下。
    1.设置最优的预取值
          defaultRowPrefetch:预取条数默认值
            defaultBatchValue:触发查询操作的批量请求值
         这两个参数的默认值都是10,我们可以通过增加这两个参数值来减少数据库请求以提高查询效率,当然具体值大小要视具体情况而定。
   2.通过连接池获取连接
     创建连接的代价很大,通过连接池获取连接可省去创建连接时间。
  3.选择合适的Statement接口(共有三种)
  • Statement:只支持静态sql
  • PreparedStatement:支持动态输入参数的sql, 因为其预编译的sql具有可重用性,可极大地避免Oracle对sql的(应解析和软解析)解析时间,提高查询速度
  • CallableStatement:专门针对存储过程,使用它能享受到所有存储过程带来的优势,但也包括存储过程带来的劣势如Java程序可移植性查,依赖数据库等      
  4.设置检索时的批量值
        Statement.getFetchSize();    获取一次检索的批量值
      Statement.setFetchSize(30);  设置批量值
       传统情况下,设置FetchSize值对检索大数据表时性能的提升是很明显的,原因是jdbc驱动默认每次只检索10条记录(传到客户端的应该是一个游标),如果我们要检索100条数据,那么就需要客户端和服务器端进行10次网络往返才能全部传输完毕,每次网络间传输都会耗掉一些时间,比如采用TCP/IP协议的话,要建立连接握手及额外的协议头尾开销等,这样势必会影响客户端的响应。至于JDBC为何要设计这么小的数,有人说是为了避免jvm out of memory 问题。
具体性能能提高多少, 请参考: http://blog.lishman.com/2008/03/jdbc-fetch-size.html 
  5.设置ResultSet的批量值
       ResultSet.getFetchSize();   获取默认批量值
      ResultSet.setFetchSize(50);  设置批量值      
       处理大数据时可显著提高处理速度
  6. 设置ResultSet合适的处理方向
         ResultSet.getFetchDirection();   获取默认值

    ResultSet.setFetchDirection(FETCH_REVERSE);设置合适的值

  7.从ResultSet获取数据时有两种方式, rs.getObject(int column_index) 和 rs.getObject(String column_label)
  •  rs.getObject(int column_index):这种方式直接根据索引从rs对象中取出 ,最快 
  •  rs.getObject(String column_label) : 这种方式需要先通过label获取到索引,然后再根据索引取数据,比直接利用索引多走了一步

 8.合理的使用ResultSet的getXXX()方法

    ResultSet提供了很多各式各样的getxxx() 方法,比如你知道第一个值是String类型的话,那么就写成getString(1),如果你不指示明确的话,它会则需要把这个值再转换成合适的Java类型,转换的代价是比较大的,如果检索出来的数据有一百万条的话,那么这个字段值就会被转换一百万次。

 9.优化查询SQL

    比如避免使用select * from table where condition...,因为这么做会把所有的数据项目查询出来,比如我们只需要Salary的话,我们就写成select salary from employee where name=RR,避免不必要数据的检索。

 10.Cache只读(read-only)和主读(read-mostly)表的数据

    只读表的数据不会发生变化,主读表发生变化较少,如果每次请求都读一遍表的话显然是没有必要,因此可以把这些数据缓存起来。当然,对于主读表要设定一定的更新时间。

 11.迭代分批次获取数据替代一次大批量获取数据

     某些情况下,应用程序可能会通过JDBC一次请求大量数据,而应用程序可能会一次把所有数据返回给客户端,这样会用掉很多时间,可以采取如下方式解决:

  • 在Server端缓存数据,分批次发给Client端,比如Server端查询出1000条数据,可以分10批次每次传送100条给Client端
  • 不在Server端缓存数据,而通过存储过程迭代的返回小批量数据
目录
相关文章
|
安全 Linux 网络安全
Vivado 2017.04版本安装教程
Vivado 2017.04版本安装教程
1448 0
|
5月前
|
人工智能 数据可视化 测试技术
AI时代的接口调试与文档生成:Apipost 与 Apifox 的表现对比
在AI技术驱动的数字化时代,软件开发日益复杂,团队协作与效率至关重要。接口调试与文档生成贯穿开发全流程,影响项目进度与质量。Apipost与Apifox作为主流工具,功能差异显著。本文从WebSocket调试、Socket.IO协议支持、GraphQL调试及AI能力等维度进行深度对比,分析两者在接口调试与文档生成方面的优劣,为开发团队选型提供参考依据,助力提升开发效率与协作水平。
340 2
AI时代的接口调试与文档生成:Apipost 与 Apifox 的表现对比
|
存储 缓存 固态存储
这样优化Elasticsearch,显著提升查询速度
elasticsearch的搜索效率与多方面有关,例如系统资源、数据查询方式、数据索引方式等,本文从各方面讨论如何进行搜索速度的优化,提升查询的性能。
1847 0
|
11月前
|
人工智能 物联网
AI电影从这个LoRA开始:魔搭AIGC1月赛题公布&12月赛题获奖作品新鲜出炉
魔搭社区LoRA创意挑战赛月度赛第三期来啦! 1月赛题揭晓:电影风格模型训练大赛
304 15
|
存储 人工智能 搜索推荐
推荐 8 款必备生产力的实用工具与网站✨
【10月更文挑战第2天】大家好!今天我想和大家分享一些我每天使用的超级实用工具。这些工具已经成为我工作流程中不可或缺的一部分,帮助我更好地保持条理,提高效率,并完成更多任务!
321 1
推荐 8 款必备生产力的实用工具与网站✨
|
SQL IDE 数据库连接
IntelliJ IDEA处理大文件SQL:性能优势解析
在数据库开发和管理工作中,执行大型SQL文件是一个常见的任务。传统的数据库管理工具如Navicat在处理大型SQL文件时可能会遇到性能瓶颈。而IntelliJ IDEA,作为一个强大的集成开发环境,提供了一些高级功能,使其在执行大文件SQL时表现出色。本文将探讨IntelliJ IDEA在处理大文件SQL时的性能优势,并与Navicat进行比较。
255 4
|
SQL 数据库 数据库管理
逆天了!IDEA执行大文件SQL,效率甩 Navicat 几条街?
【10月更文挑战第1天】在数据库管理和开发领域,SQL文件的执行效率是衡量数据库管理工具性能的重要指标之一。近期,IDEA(IntelliJ IDEA)在执行大文件SQL方面的表现引起了广泛关注,其效率远超传统的数据库管理工具Navicat。本文将深入探讨这一现象背后的原因,并结合工作学习中的技术干货,为大家带来一些实用的建议和技巧。
487 1
|
Java 数据库 开发者
"揭秘!SpringBoot+事务钩子,如何携手打造零差错、秒级响应的高效支付系统,让你的业务飞起来!"
【8月更文挑战第11天】构建高效稳定的支付系统时,Spring Boot凭借其快速开发与丰富生态成为优选框架。通过集成Spring事务管理抽象,@Transactional注解简化了数据库事务处理。针对复杂业务,可利用`TransactionSynchronizationManager`和`TransactionSynchronization`接口自定义事务钩子函数,在事务不同阶段执行特定逻辑,如支付成功或失败时的通知,确保数据一致性与业务完整性。
310 4
|
Java 应用服务中间件 Redis
十年架构师总结:SSM+微服务+Nginx+Redis+MySQL的PDF文档
SSM 第1部分入门和技术基础 第1章认识SSM框架和Redis 第2章Java设计模式 第2部分互联网持久框架- -MyBatis 第3章认识MyBatis核心组件 第4章MyBatis配置 第5章映射器 第6章动态SQL 第7章MyBatis的解析和运行原理 第8章插件 第3部分Spring基础 第9章Spring IoC的概念 第10章装配Spring Bean 第11章面向切面编程 第12章Spring和数据库编程 第13章深入Spring数据库事务管理 第4部分Spring MVC框架 第14章Spring MVC的初始化和流程 第15章深入Spring MVC组件开发 ......
|
机器学习/深度学习 人工智能 算法