通过java程序抽取日志中的sql语句

简介: 今天在翻看以前的笔记时,发现自己在很早之前写过一个java程序,能够解析日志中的sql语句。 当时使用的环境是weblogic,日志目录下总是有几十上百个日志文件,有时候排查问题的时候只需要找到对应的DML语句即可。

今天在翻看以前的笔记时,发现自己在很早之前写过一个java程序,能够解析日志中的sql语句。
当时使用的环境是weblogic,日志目录下总是有几十上百个日志文件,有时候排查问题的时候只需要找到对应的DML语句即可。
使用linux命令固然也可以,但是解析的时候还是比较被动,不能够正确地解析出sql语句来。比如日志中出现insert的字样可能只是日志中的一段信息,不是insert语句。
这些通过linux命令来完成还是有一定的难度,记得当时问题比较多,自己也饱受这种困扰。于是写了一个java程序来。
代码如下:

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;

public class LogToSqlMain {
 private static String SELECT = "SELECT";
 private static String UPDATE = "UPDATE";
 private static String DELETE = "DELETE";
 private static String INSERT = "INSERT";
 private static String ALL = "ALL";

 public static void main(String[] args) {
  new LogToSqlMain().parse(args);
 }

 public void test(File logFile) {
  // get file
  // initialized io
  // parse log to sql

  // format sql
  // generate sql file
  // invoke jdbc
 }

 public void parse(String[] args) {
  String args0 = null;
  String args1 = null;
  if (args == null) {
   return;
  }
  if (args != null && args.length == 1) {
   args0 = args[0];
  }
  if (args != null && args.length == 2) {
   args0 = args[0];
   args1 = args[1];
   if (!args1.equalsIgnoreCase(ALL) && !args1.equalsIgnoreCase(SELECT)
     && !args1.equalsIgnoreCase(UPDATE) && !args1.equalsIgnoreCase(DELETE)
     && !args1.equalsIgnoreCase(INSERT)) {
    return;
   }
  }

  BufferedReader buffer_reader = null;
  String sql_type = null;
  try {
   File file = new File(args0);
   File[] filesOfDirs = file.listFiles();
   if (!file.isDirectory() || filesOfDirs.length == 0) {
    System.out.println("invalid path or io error");
    return;
   }
   String temp_read = null;
   String strTemp = null;
   String strTimeStamp = null;
   Long log_Line_Num = null;
   for (int i = 0; i     if (getSqlMode(args1, filesOfDirs[i].getName())) {
     File tmp_File = filesOfDirs[i].getAbsoluteFile();
     sql_type = getSQLType(tmp_File);
     buffer_reader = new BufferedReader(new FileReader(tmp_File));
     temp_read = buffer_reader.readLine();
     while (temp_read != null) {
      char sep_str = ':';
      // validate every line should be SQL
      if (validateFileLine(temp_read, sql_type)) {
       log_Line_Num = Long.parseLong(temp_read.substring(
         0, temp_read.indexOf(sep_str)));
       strTemp = temp_read.substring(temp_read
         .indexOf(':') + 1);
       strTimeStamp = strTemp.substring(
         strTemp.indexOf('[') + 1,
         strTemp.indexOf(']'));
       strTemp = strTemp
         .substring(strTemp.indexOf(']') + 1);
       String temp_Sql = strTemp.substring(strTemp
         .indexOf(sql_type + " "));
       System.out.println(sql_type + log_Line_Num + ","
         + strTimeStamp + "," + temp_Sql);
      }
      temp_read = buffer_reader.readLine();
     }
     buffer_reader.close();
    }
   }
  } catch (NumberFormatException e) {
   e.printStackTrace();
  } catch (IOException e) {
   e.printStackTrace();
  } finally {
   if (buffer_reader != null) {
    try {
     buffer_reader.close();
    } catch (IOException e) {
     e.printStackTrace();
    }
   }
  }

 }

 private boolean validateFileLine(String str_Line, String sql_type) {
  if (sql_type.equals(INSERT)) {
   if (str_Line.toUpperCase().contains("INTO")
     && str_Line.toUpperCase().contains("VALUES"))
    return true;
  } else if (sql_type.equals(SELECT)) {
   if (str_Line.toUpperCase().contains("FROM")
     && str_Line.toUpperCase().contains("WHERE")) {
    return true;
   }
  } else if (sql_type.equals(UPDATE)) {
   if (str_Line.toUpperCase().contains("SET")
     && str_Line.toUpperCase().contains("WHERE")) {
    return true;
   }
  } else if (sql_type.equals(DELETE)) {
   if (str_Line.toUpperCase().contains("WHERE")) {
    return true;
   }
  }
  return false;
 }

 private String getSQLType(File file) {
  if (file.getName().toUpperCase().contains(SELECT)) {
   return SELECT;
  } else if (file.getName().toUpperCase().contains(UPDATE)) {
   return UPDATE;
  } else if (file.getName().toUpperCase().contains(DELETE)) {
   return DELETE;
  } else if (file.getName().toUpperCase().contains(INSERT)) {
   return INSERT;
  }
  return null;
 }

 public boolean getSqlMode(String args, String fileName) {
  if (args == null || ALL.equalsIgnoreCase(args))
   return (fileName.startsWith(INSERT) || fileName.startsWith(DELETE)
     || fileName.startsWith(UPDATE) || fileName
      .startsWith(SELECT));
  if ((SELECT).equalsIgnoreCase(args)) {
   return (fileName.startsWith(SELECT));
  } else if ((UPDATE).equalsIgnoreCase(args)) {
   return (fileName.startsWith(UPDATE));
  } else if ((INSERT).equalsIgnoreCase(args)) {
   return (fileName.startsWith(INSERT));
  } else if ((DELETE).equalsIgnoreCase(args)) {
   return (fileName.startsWith(DELETE));
  }
  return false;
 }
}

如果需要得到a.log中的sql语句,
就可以这样调用java程序 java LogToSqlMain a.log INSET
如果想得到所有的sql语句 java LogToSqlMain a.log ALL

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
6天前
|
SQL Java 应用服务中间件
Java项目防止SQL注入的四种方案
Java项目防止SQL注入的四种方案
54 0
|
1天前
|
SQL 分布式计算 Java
大数据软件基础(2)—— Java、SQL
大数据软件基础(2)—— Java、SQL
8 0
|
4天前
|
消息中间件 关系型数据库 网络安全
实时计算 Flink版操作报错合集之Flink sql-client 针对kafka的protobuf格式数据建表,报错:java.lang.ClassNotFoundException 如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
14 1
|
6天前
|
SQL Java 数据库
java代码中调用dao层查询接口,代码没有返回数据,打印出的sql查出了数据
java代码中调用dao层查询接口,代码没有返回数据,打印出的sql查出了数据
17 1
|
6天前
|
SQL 关系型数据库 MySQL
如何将完整的sql打在控制台和日志上
如何将完整的sql打在控制台和日志上
7 0
|
6天前
|
SQL Java 数据库连接
Java从入门到精通:2.3.2数据库编程——了解SQL语言,编写基本查询语句
Java从入门到精通:2.3.2数据库编程——了解SQL语言,编写基本查询语句
|
6天前
|
SQL Java 数据库连接
解决bad SQL grammar []; nested exception is java.sql.SQLSyntaxErrorException: ORA-00911: 无效字符
解决bad SQL grammar []; nested exception is java.sql.SQLSyntaxErrorException: ORA-00911: 无效字符
28 0
|
6天前
Caused by: java.lang.RuntimeException: java.sql.SQLException: The server time zone value ‘Öйú±ê׼ʱ
Caused by: java.lang.RuntimeException: java.sql.SQLException: The server time zone value ‘Öйú±ê׼ʱ
14 0
|
6天前
|
SQL Java 数据库连接
解决bad SQL grammar []; nested exception is java.sql.SQLSyntaxErrorException: ORA-00911: 无效字符
解决bad SQL grammar []; nested exception is java.sql.SQLSyntaxErrorException: ORA-00911: 无效字符
28 0
|
6天前
|
SQL JSON Kubernetes
Seata常见问题之服务端 error日志没有输出,客户端执行sql报错如何解决
Seata 是一个开源的分布式事务解决方案,旨在提供高效且简单的事务协调机制,以解决微服务架构下跨服务调用(分布式场景)的一致性问题。以下是Seata常见问题的一个合集
131 0