Java 执行 Postgresql Jdbc 类型异常时,复杂sql难定位的解决方案

本文涉及的产品
PolarSearch,搜索节点 4核8GB
PolarDB Agent Express,2核4GB
PolarDB Agent Flow,2核4GB
简介: Java 执行 Postgresql Jdbc 类型异常时,复杂sql难定位的解决方案

由于复杂sql篇幅比较长,这里就随意执行一串比较简单的sql作为代表,怎么去实现较为精准的异常sql定位,帮助各位开发小伙伴解决问题

ps:文章末尾有解决该异常的彩蛋,能让开发更顺畅哟

相关驱动前置说明

 <!-- postgresql jdbc 驱动包 -->
 <!-- https://mvnrepository.com/artifact/org.postgresql/postgresql -->
        <dependency>
            <groupId>org.postgresql</groupId>
            <artifactId>postgresql</artifactId>
            <version>42.2.24</version>
        </dependency>
       
        <!-- druid jdbc连接池 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.1.21</version>
        </dependency>

执行sql如下:

        // 随意编写的一句sql
        String sql = "select * from cr_vehicle_type " +
                "where VEHICLE_TYPE_ID in(?,200) " +
                " and create_time > ? ";
        // create_time 字段故意传入时间字符串,pg会报错,mysql是不会的
        EDb.use("pg").find(VehicleType.class,sql,100, "2020-01-08");

异常信息如下:

com.jfinal.plugin.activerecord.ActiveRecordException: java.lang.RuntimeException: org.postgresql.util.PSQLException: ERROR: operator does not exist: timestamp without time zone > character varying
  建议:No operator matches the given name and argument types. You might need to add explicit type casts.
  位置:81

    at com.edbplus.db.EDbPro.find(EDbPro.java:1144)

如果是以上异常信息提示的话,我们很难去定位到 create_time 字段的类型有异,简单的sql还好,复杂的sql有好多字段,光凭 【位置:81】 和 【ERROR: operator does not exist: timestamp without time zone > character varying】 等关键字眼,对开发人员来说,实在太难了

所以建议结合druid进行相关简单的改造

继承 FilterEventAdapter 实现sql上下游动作的相关监听

public class EDbDruidSqlLogFilter extends FilterEventAdapter{
   ...
   ...
   /**
     * druid自带的sql异常之上下游监听 -> 执行sql报错之后触发
     * @param statement
     * @param sql
     * @param error
     */
    @Override
    protected void statement_executeErrorAfter(StatementProxy statement, String sql, Throwable error) {
        try{
            if(error.getMessage().contains("位置")){
                String errStr = error.getMessage();
                // 提取 【位置:81】 里的数字,便于结合sql语句进行精准范围定位
                int idx = ReUtil.getFirstNumber(errStr.substring(errStr.indexOf("位置")));
                int startIdx,endIdx =0;
                if((idx - 20)>0){
                    startIdx = idx - 20;
                }else{
                    startIdx = 0;
                }
                if((idx + 10)<sql.length()){
                    endIdx = idx + 10;
                }else{
                    endIdx = sql.length();
                }
                // 弥补pgsql打印时,无法精准输出异常字段的问题
                String errMsg = "sql异常位置:" + sql.substring(startIdx,endIdx) ;
                log.error(errMsg);
            }
        }catch (Throwable e)
        {
          log.error(e);
        }
    }
}

结果如下

image.png

如上图所示,我们就可以通过 【sql异常位置: and create_time > ?】的提示并结合【ERROR: operator does not exist: timestamp without time zone > character varying】,非常方便定位到异常信息和问题,能很快的发现问题并修复该异常,节省大量的测试时间和结构性差异对比

ps:其实解决格式化异常最好的方式是数据库驱动自己兼容实现:

stringtype=unspecified -> 格式化参数即可
-- 连接示例参考:
jdbc:postgresql://192.168.1.11:5432/pg_test?currentSchema=public&reWriteBatchedInserts=true&TimeZone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&stringtype=unspecified

希望有帮助到大家,在java往postgresql开发的路上快速迭代和提升~~~

欢迎大家留言

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
SQL 关系型数据库 MySQL
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
|
存储 SQL 数据库连接
C#程序调用Sql Server存储过程异常处理:调用存储过程后不返回、不抛异常的解决方案
本文分析了C#程序操作Sql Server数据库时偶发的不返回、不抛异常问题,并提出了解决思路。首先解析了一个执行存储过程的函数`ExecuteProcedure`,其功能是调用存储过程并返回影响行数。针对代码执行被阻塞但无异常的情况,文章总结了可能原因,如死锁、无限循环或网络问题等。随后提供了多种解决方案:1) 增加日志定位问题;2) 使用异步操作提升响应性;3) 设置超时机制避免阻塞;4) 利用线程池分离主线程;5) 通过信号量同步线程;6) 监控数据库连接状态确保可用性。这些方法可有效应对数据库操作中的潜在问题,保障程序稳定性。
897 11
|
SQL Java 数据库连接
Java中实现SQL分页的方法
无论何种情况,选择适合自己的,理解了背后的工作原理,并能根据实际需求灵活变通的方式才是最重要的。
310 9
|
SQL druid Java
【YashanDB知识库】YashanDB JDBC驱动查询时抛出io fail:Read timed out异常
【YashanDB知识库】YashanDB JDBC驱动查询时抛出io fail:Read timed out异常
|
SQL druid Java
【YashanDB知识库】YashanDB JDBC驱动查询时抛出io fail:Read timed out异常
【YashanDB知识库】YashanDB JDBC驱动查询时抛出io fail:Read timed out异常
|
Java 数据库连接 数据库
【YashanDB知识库】jdbc查询st_geometry类型的数据时抛出YAS-00101 cannot allocate 0 bytes for anlHeapMalloc异常
【YashanDB知识库】jdbc查询st_geometry类型的数据时抛出YAS-00101 cannot allocate 0 bytes for anlHeapMalloc异常
|
SQL druid Oracle
【YashanDB知识库】yasdb jdbc驱动集成druid连接池,业务(java)日志中有token IDENTIFIER start异常
客户Java日志中出现异常,影响Druid的merge SQL功能(将SQL字面量替换为绑定变量以统计性能),但不影响正常业务流程。原因是Druid在merge SQL时传入null作为dbType,导致无法解析递归查询中的`start`关键字。
|
SQL Java 中间件
【YashanDB知识库】yasdb jdbc驱动集成BeetISQL中间件,业务(java)报autoAssignKey failure异常
在BeetISQL 2.13.8版本中,客户使用batch insert向yashandb表插入数据并尝试获取自动生成的sequence id时,出现类型转换异常。原因是beetlsql在prepareStatement时未指定返回列,导致yashan JDBC驱动返回rowid(字符串),与Java Bean中的数字类型tid不匹配。此问题影响业务流程,使无法正确获取sequence id。解决方法包括:1) 在batchInsert时不返回自动生成的sequence id;2) 升级至BeetISQL 3,其已修正该问题。
【YashanDB知识库】yasdb jdbc驱动集成BeetISQL中间件,业务(java)报autoAssignKey failure异常
|
Java 数据库连接 数据库
【YashanDB 知识库】jdbc 查询 st_geometry 类型的数据时抛出 YAS-00101 cannot allocate 0 bytes for anlHeapMalloc 异常
**简介:** 客户在使用 YashanDB JDBC 驱动查询含 st_geometry 列的数据时,遇到 YAS-00101 错误,提示无法分配内存。该问题影响所有版本的 YashanDB,导致业务中断。原因是用户缺少对 st_geometry 类型的 execute 权限。解决方法是为用户赋权:`grant execute any type to &lt;username&gt;;` 以恢复正常运行。
|
Java 数据库连接 数据库
【YashanDB 知识库】jdbc 查询 st_geometry 类型的数据时抛出 YAS-00101 cannot allocate 0 bytes for anlHeapMalloc 异常
**问题简介:** 客户使用 YashanDB JDBC 驱动查询含 st_geometry 列的数据时,出现 YAS-00101 错误,提示无法分配 0 字节内存。该问题影响所有 YashanDB 版本,导致业务中断。原因是数据库用户缺少 st_geometry 类型的 execute 权限。解决方法是为用户赋权:`grant execute any type to &lt;username&gt;;`。

推荐镜像

更多